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厅 下 


与 狗熊 会 的 结缘 始 于 五 年 前 。2012 年 ， 我 在 拉 卡 拉 文 付 有 限 公 司 任 集团 高 级 
副 总 稚 ， 承 家 集团 重 事 长 羔 总 裁 耻 陶然 先生 和 松 不 资本 历 伟 先 生 的 推荐 ， 有 王 孝 
入 北京 大 学 光华 管理 学 院 殉 读 工商 管理 硕士 ， 在 燕 园 结识 了 商学 院 多 个 领 若 的 顶 
级 专家 和 教授 。 


狗 能 会 的 定位 是 致力 于 数据 产业 的 高 端 智 库 。 先 和 大 家 分 享 一 下 我 和 数据 产 
业 亲 密 接触 的 过 程 ， 或 许 和 众多 数据 领域 的 创业 者 们 有 着 一 样 的 心路 历程。 


2015 年 1 月 $ 日 ， 中 国人 民 银 行 印 发 《关于 做 好 个 人 征 信 业务 准备 工作 的 通 
知 》 ” ， 要 求 八 家 机 构 做 好 个 人 征 信 业务 的 准备 工作 ， 考 拉 征 信 位 列 其 中 。 受 集团 
委托 以 及 重 事 会 任命 ， 我 出 任 考 拉 征 信息 裁 。 虽 然 我 有 十 余年 文 付 结算 领域 的 工 
作 经 验 ， 但 是 在 个 人 征 信 方面 几乎 是 一 片 宇 白 ， 工 作 一 时 难 有 头绪 。 于 是 ， 在 最 
初 的 儿 个 月 里 ， 我 把 大 部 分 时 间 和 精力 用 于 党 习 和 交流 。 我 陆续 拜访 了 监管 部 
门 、 征 信 业 同行 、 金 融 机 构 以 及 多 家 大 数据 公司 ， 发 现 三 个 问题 : 〈1) 很 多 机 构 
对 征 信 籽 务 的 方 同 、 产 品 以 及 服务 模式 认识 不 清晰 ; (2) 相当 一 部 分 大 数据 公司 
缺乏 好 的 商业 模式 和 人 熏 利 能 力 ; 〈3) 技术 储备 不 足 ， 数 据 统 计 模 型 设计 普 遇 不 
强 。 前 两 个 问题 很 难 在 “短期 内 解决 ， 需 要 在 长 期 的 市 场 实 践 中 逐步 清晰 完善 。 唯 
有 第 三 个 问题 或 许可 以 尽快 解决 ， 那 融 是 产 学 研 相 结合 。 于 是 我 找到 了 能 大 ， 也 
束 是 王 汉 生 教 授 。 王 教授 是 北京 大 学 光华 管理 学 院 统 计 与 经 济 计 量 系 主任 ， 在 国 
内 统计 和 数据 科学 领域 具有 极 高 的 知名 度 。 双 方 合 作 由 此 展开 ， 并 成 立 了 联合 研 
究 组 。 由 王 教 授 市 领 的 狗熊 会 团队 定期 来 到 公司 ， 双 方 的 数据 和 模型 团队 联合 作 
业 ， 对 多 个 产品 和 评分 檬 型 进行 了 长 期 深入 的 研究 ， 成 果 显 兰 。 


2016 年 年 底 我 投身 于 大 数据 领域 的 创业 热潮 。 在 机 缘 巧 合 下 ， 受 能 大 的 邀请 
有 笠 出 任 狗 能 会 CEO。 此 时 狗熊 会 已 经 与 近 十 家 机 构 开 展 了 联合 研究 工作 ， 涵 盖 
征 信 、 广 告 、 车 联网 、 消 费 人 金融、 证券、 汽车 等 多 个 领域 。 同 时 ， 狗 能 会 微 信 公 
众 写 峻 集 了 大 量 粉 经 ， 其 中 70% 是 来 目 局 校 的 老师 和 学 生 ，30% 是 来 目 大 数据 企业 
的 从 业者 。 狗 能 会 团队 出 品 的 精品 案例 甚至 己 经 走 进 课堂 和 企业 内 部 的 分 享 培 
训 。 加 入 会 员 微 信 whair004 


狗熊 会 的 快速 友 展 伴随 看 中 国 数 据 产 业 的 适 动 兴起 ， 其 使 命 古 聚 数 据 瑞 才 ， 
助 产 业 振 兴 。 其 文化 内 泗 体 现在 三 个 方面 : 一 是 创造 。 自 先是 内 容 创 造 ， 无 论 古 
生 例 还 是 教材 以 及 研究 成 来 ， 始 终 坚 持原 创 ， 均 出 目 狗 能 会 成 员 的 乔 意 。 其 次 是 
价值 创造 ， 知 识 成 琳 能 够 为 合作 伙伴 市 来 数据 价值 和 商业 价值 。 二 是 分 诗 。 助 力 
院 校 培养 更 多 应 用 型 的 数据 科学 人 才 ， 玫 助 企业 提升 数据 科学 水 平 ， 共 同 分 胖 育 
人 的 欣 感 、 科 研 的 成 果 和 智慧 的 结晶 。 三 是 陪伴 。 从 点 滴 做 起 ， 或 许 是 一 个 案 
例 、 一 个 模型 ， 提 或 是 一 本 书 、 一 笃 识 ， 还 有 可 能 十 一 个 学 科 、 一 个 专业 ， 狗 能 
会 将 始终 乐于 与 大 家 并 有 屑 而 行 ， 障 伴 中 国 数据 科学 产业 共同 成 长 。 


桃 伴 不 吾 ， 下 日 成 组。 欢迎 数据 科学 领域 的 苹 苹 学 子 与 从 业者 关注 和 加 入 狗 
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狗 能 会 CEO 李 广 雨 


厅 二 


我 与 王 汉 生 教 授 相识 于 北 泵 大 学 光华 管理 和 学院， 作为 共事 多 年 的 老 同 事 ， 汉 
生 对 学 本 研究 的 执 看 、 对 教书 育 人 的 用 心 都 给 我 留 下 了 深刻 印象 ， 用 “ 诲 人 不 倦 、 
古 志 热 肠 ” 来 评价 恰如其分 。 这 些 年 ， 随 看 中 国 数 据 科学 产业 的 着 劲 友 展 ， 汉 生 蕊 
识 到 数据 科学 人 才 的 苇 乏 ， 送 发 起 成 芯 了 狗熊 会 ， 目 在 聚 数据 碳 才 ， 助 产业 振 
兴 ， 在 资本 哈 央 过 华 乙 下 无 为 难得 。 信 其 新 书 《 数 据 思 维 》 出 版 乙 际 ， 汉 生 委 托 
我 写 序 。 盛 情 难 却 ， 故 将 感慨 之 言 以 示 文 持 。 


2009 年 ， 我 有 入 与 几 位 小 伙伴 一 起 创立 了 一 家 大 数据 公司 一 一 一 百分点 ， 身 
份 也 从 一 名 大 学 教授 转变 成 一 个 在 商海 中 打拼 的 创业 者 ， 在 大 数据 这 个 最 热门 
的 “风口 ” 措 息 深 打 七 八 年 ， 接 触 儿 干 家 叙 己 后 感慨 民 多 。 中 国 经济 经 历 了 30 多 年 的 
快速 有 友 展 并 取得 了 举世 瞩目 的 成 束 ， 经 济 水 平 、 市 场 规模 、 企 业 数 量 和 质量 都 取 
得 了 飞跃 式 友 展 。 但 个 可 人 奋 认 的 是 ， 在 信息 拉 术 层面 ， 我 们 是 断层 的 ， 延 续 性 也 
比较 差 ， 并 未 跟 上 国家 的 经 济 及 展 水 平 。 西 方 国家 能 够 比较 容易 从 传统 IT 平 稳 延 
展 到 云 计 算 、 大 数据 ， 而 我 们 在 不 同行 业 则 呈现 出 千差万别 的 状况 ， 我 想 这 种 情 
况 跟 思维 有 寿 密 不 可 分 的 关系。 


机 械 思 维 市 来 了 工业 蛙 俞 ， 数 据 思维 则 引 灯 智能 早 合 。 传 统 机 械 思 维 的 核心 
思想 是 确定 性 和 因果 关系 ， 任 何事 情 一 旦 发 生 ， 则 必然 会 产生 结果 ， 一 定 有 可 用 
的 模型 来 接 述 其 及 生 的 原因 。 而 到 了 数据 时 代 ， 这 个 世界 正在 变 得 越 来 越 复 洒 ， 
不 确定 性 无 处 不 在 ， 强 相关 性 则 取代 了 过 去 的 因 采 关系 ， 数 据 中 包含 的 信息 以 及 
数据 之 间 的 相 天 性 则 可 以 帮助 我 们 消除 不 确定 性 。 在 中 国 大 数据 产业 方兴未艾 之 
际 ， 需 要 更 多 人 拥有 数据 思维 ， 无 论 是 政府 机 构 的 决策 者 、 商 业 组 织 的 管理 者 ， 
还 是 普通 员工 、 老 百姓 ， 都 需要 学 习 和 了 解数 据 思维 。 人 们 和 常 说:“ 有 思维 决定 命 
运 。” 对 于 即将 到 来 的 智能 音 命 ， 将 会 是 一 个 颖 新 的 开始 ， 大 家 都 需要 用 数据 思维 
人 
27HYJ 癌 信 。 


王 汉 生 教 授 也 是 日 分 点 科 学 委员 会 的 首席 统计 学 家 ， 在 特 分 点 的 核心 扩 术 、 
产品 人 研 发、 大 数据 项 目 中 给 予 了 大 力 帮助 和 支持 。 此 外 ， 白 分 扣 与 狗熊 会 部 昔 识 
到 数据 科学 人 才 增 错 的 重要 性 。 近 年 来 ， 白 分 扣 与 狗熊 会 联合 蕉 办 了 多 场 数 据 科 
学 培训 活动 ， 我 们 痢 布 望 涌现 出 更 多 的 人 才 来 推动 国家 数据 科学 产业 的 快速 友 
展 。 


:21 世纪 什么 最 贯 ? 人 才 ! ?电影 中 歼 叔 这 句 话 道 出 了 这 个 时 代 的 真理 。 人 才 的 
培养 ， 首 先 体现 在 思维 上 ， 思 维 跟 不 上 ， 则 永远 跟 不 上 。 在 大 数据 一 线 备 斗 多 
年 ， 让 我 尤其 感叹 大 数据 人 才 在 各 个 行业 中 的 项 之， 也 深 深 明日 汉 生 所 做 工作 的 
意义 和 价值 。 但 愿 有 更 多 的 人 能 够 谈 到 这 本 《数据 思维 》， 从 而 为 目 己 开 局 一 个 
不 一 样 的 新 世界 。 














百 分 扩 集团 重 事 长 羔 CEO 办 遇 


序 三 


我 非 钊 宋 革 地 阅 谈 了 王 汉 生 教 授 摊 号 的 《数据 思维 》 一 书 。 我 首先 要 视 足 汉 
生 教 授 和 他 的 团队 狗 驴 会 ， 感 谢 他 们 的 早 越 工作 。 当 今 ， 大 数据 和 人 工 智 能 是 两 
大 最 有 活力 的 热点 领域 ， 而 现代 人 工 智能 的 有 发展 本 质 上 也 和 是 应 数据 而 驱动 。 效 扼 
思维 展示 了 观念 的 转换 ， 从 而 推动 了 技术 的 客 破 。 


汉 生 教授 是 阁 名 的 统计 学 家 ， 他 早年 主要 从 事 统 计 尝 的 理论 研究 ， 后 来 重点 
天 注 产 业界 实际 问题 的 数据 分 机。 特别 是 近 几 年 ， 他 以 敏锐 的 眼光 抓 住 了 学 科 友 
展 的 态势 ， 组 建 了 狗熊 会 团队 。 他 们 从 业界 中 寻找 数据 科学 的 实际 问题 ， 并 帮助 
业界 寻找 解决 问题 的 可 行 途 径 ， 由 此 积累 了 一 批 著 实 的 数据 分 析 守 例 ， 这 务实 和 
丰 主 了 数据 学 科 的 内 痛 。《 数 据 思 维 》 一 书 正 是 他 们 实践 的 总 结 ， 镭 闻 了 汉 生 教 
授 对 数据 科学 的 思 孝 和 探索 ， 也 体现 了 汉 生 教授 及 狗熊 会 的 时 代 使 命 和 科学 情 
怀 。 他 们 是 “ 聚 数 据 喘 才 ， 助 产业 振兴 ”的 践 行者 ， 他 们 的 其 体 行动 对 “ 星 第 的 狐 
冯 " 给 出 了 最 有 力 的 对 扶 。 


该 书 不 是 仅仅 基于 文献 的 总 结 ， 也 不 是 基于 数学 公式 的 堆砌 ， 而 是 利 用 作者 
目 己 完成 的 案例 来 对 经 典 和 现代 的 数据 分 析 工 具 和 方法 进行 重 狐 认识 。 该 书 视角 
独特 ， 语 言 活 庆 、 风 趣 、 幽 黑 ， 处 处 内 烁 看 作者 的 思想 光华 。 我 相信 它 将 是 一 本 
非常 好 的 数据 科学 通 识 读物 ， 该 书 的 出 版 对 数据 科学 的 普及 和 推广 是 及 时 的 。 我 
再 次 祝 吐 和 感谢 汉 生 教授 ! 





北京 大 学 数学 学 院 教授 张志华 


市 场 上 已 经 有 那么 多 关于 数据 科学 〈 或 者 大 数据 ) 的 书 了 ， 为 什么 还 要 再 与 
一 本 呢 ?” 这 是 一 个 很 好 的 问题 ， 我 也 问 过 目 己 八 白 过。 说 老实 证， 有 所 稀 里 糊 
洲 ， 有 所 说 不消 荡 。 生 到 有 一 天 ， 狗 能 会 公众 守 〈 和 做 信 ID: CluBear) 上 肥 了 了 一遍 
是 为 《关于 应 用 型 蜗 校 “数据 科学 与 大 数据 拉 术 ”专业 建设 的 一 些 思 考 》 的 文章， 探 
讨 产 业 实 践 之 于 数据 科学 教育 的 重要 性 。 文 草 发 表 后 ， 一 位 热心 读者 的 留言 吸引 
了 我 的 注意 力 。 这 位 朋友 的 留言 大 意 是 产业 实践 可 以 通过 参加 关 似 Kagsgle 的 数据 
建 模 比赛 获 得 。 文 撑 这 个 观点 的 一 个 原因 是 这 种 闫 型 的 比 费 所 使 用 的 数据 都 来 目 
大 实 的 数据 产业 ， 有 定义 消 晰 的 业务 问题 ， 所 以 ， 通 过 参加 此 类 比 颖 ， 或 者 接受 
类 似 的 训练 ， 束 可 以 获得 不 蚀 的 产业 实践 经 验 。 但 是 ， 我 的 看 法 有 所 不 同 。 我 对 
数据 产业 实践 的 理解 可 能 更 丰富 一 些 。 


我 认为 数据 产业 实践 的 核心 任务 是 :让 数据 产生 价值 。 更 准确 地 说 ， 是 在 真 
实 的 产业 环境 中 ， 让 数据 产生 可 被 产品 化 的 两 业 价 人 从。 这 个 商业 价值 古 一 个 三 义 
的 商业 价值 ， 既 包括 企业 的 价值 ， 也 包括 政府 的 价值 。 从 这 个 角度 看 ， 效 据 产 业 
实践 全 少 涉及 三 个 关键 环 证 : 数据 业务 定义 〈 把 一 个 具体 业务 问题 定义 成 一 个 数 
据 可 分 析 问 题 》、 数 据 分 析 与 建 模 《描述 统计 、 ”数据 可 视 化 、 回 归 分 析 、 机 器 学 
习 ) 、 数 据 业 务实 施 《〈 洲 程 改 造 、 产 品 设计 、 标 准 制定 等 ) 。 这 三 个 环 市 缺 一 不 
可 。 而 各 种 数据 建 模 比 络 主要 关注 的 古 第 二 个 环 记 (数据 分 析 与 建 模 ) 。 对 于 第 
一 个 环 三 (数据 业务 定义 ) 与 第 三 个 环 太 数据 业务 实施 ) 能 够 所 供给 大 家 的 训 
练 很 少 。 原 因 很 蚀 单 ， 第 一 个 和 第 三 个 环节 属于 完事 主办 方 的 思考 疙 上 畴 ， 不 圾 要 
参赛 者 再 操心 。 参 赛 者 只 要 对 第 二 个 环 和 肥力 束 可 以 了 。 当 然 ， 能 够 对 第 二 个 环 
万 提供 优质 的 训练 ， 这 仍然 是 非常 值得 称赞 的 事情 。 


市 看 对 第 二 个 环节 无 限 的 碍 重 ， 我 想 说 ， 其 实 另外 两 个 环节 可 能 更 加 重要 ， 
而 且 极 有 具 挑 成 性 。 如 末 不 能 把 一 个 业务 问题 “例如 客户 价值 捉 升 )》 定 义 成 数据 可 
分 析 问 题 ， 那 么 任何 数据 分 析 部 是 明说 八道 。 只 有 把 业务 问题 准确 定义 成 一 个 数 
据 可 分 析 问 题 ， 数 据 分 析 与 建 柑 才 能 有 用 武之 地 。 最 后 ， 即 使 数据 分 析 得 再 好 、 
模型 建立 得 再 识 冠 ， 如 来 无 法 落地 成 为 可 航 执行 的 数据 产品 ， 那 所 有 的 努力 也 都 
挟 日 费 的 。 因 此 ， 从 这 个 角度 看 ， 这 两 方面 更 加 重要 。 而 这 殉 是 狗熊 会 的 核心 理 
念 ， 可 能 会 和 很 多 书籍 文章 中 的 看 法 有 所 不 同 。 为 了 方便 起 匈 ， 我 称 之 为 朴 又 的 
数据 价值 观 。 


村 素 的 数据 价值 观 认 为 ， 数 据 产 业 实 践 不 是 单纯 的 数据 分 析 与 建 模 ， 而 是 要 
在 一 个 产业 环境 下 ， 让 数据 产生 价值 。 为 此 ， 前 面 提 到 的 三 个 环节 都 非常 重要 ， 
尤其 是 第 一 个 和 第 三 个 。 而 写作 本 书 的 目的 束 是 要 同 大 家 分 享 狗 能 会 朴素 的 数据 
价值 观 。 加 入 会 员 人 短信 whair004 


为 了 更 好 地 分 诗 ， 本 书 大量 米 用 了 狗熊 会 的 精品 条 例 。 草 廊 内 容 部 是 从 狗 能 
会 及 布 有 的 精品 各 例 的 第 信 推 文 且 接 润 色 修 改 形成 的 。 因 此 ， 这 些 内 容 继 承 了 狗熊 
会 精品 条 例 的 一 些 有 趣 的 基因 : (1) 尽 最 大 的 努力 把 业务 问题 定义 清晰 : 《2) 
尽 最 大 的 努力 让 数据 分 析 与 建 醒 上 脑 准 业 务 问 题 : 《3) 尺 最 大 的 努力 让 最 终 分 析 结 























朱 有 产品 化 的 可 能 。 这 三 个 基因 也 正好 对 应 了 数据 产业 实践 的 三 个 重要 环节 。 为 
了 增加 阅读 的 趣味 性 ， 所 有 守 例 的 与 作风 格 都 谈 庶 幽 答 ， 但 盆 力 不 失 科 学 的 严 
但 。 当 然 ， 由 于 各 个 条例 的 作者 不 尽 相 同 ， 不 同 草 而 的 与 作风 格 也 有 所 人 不同， 这 
可 能 会 在 一 定 程度 上 影 啊 阅 谈 ”体验 ， 对 此 ， 我 表示 深 深 的 痰 意 ， 请 六 家 诛 斌 。 同 
时 为 了 方便 读者 利用 雄 厂 化 时 间 进 行 阅读 ， 所 有 条例 之 间 基 本 上 互相 独立 ， 因 
此 ， 大 量 革 市 可 以 独立 阅读 ， 而 不 受制 于 前 后 内 容 的 逻辑 顺序 。 此 外 ， 特 别 值得 
强调 的 是 ， 为 了 降低 阅读 难度 ， 本 书 儿 乎 不 涉及 任何 数学 和 从 写 和 计算 机 代码。 但 
是 ， 这 并 不 代表 这 些 采 例 是 虚构 的 或 者 肤浅 的 。 事实 上 ， 狗 能 会 精品 委 例 的 生产 
是 一 个 非 第 艰辛 的 过 程 。 一 个 非 第 有 经 验 的 精品 宁 例 Leader， 币 领 目 己 的 团队 ， 一 
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之 必 。 


在 内 容 组 织 方面 ， 本 书 从 基本 理 仿 入手 ， 按 照 不 同 的 数据 分 析 方 法 ， 由 浅 入 
深 ， 组 织 成 不 同 的 划 记 。 其 中 ， 第 一 革 系 统 阐 述 狗 能 会 朴 系 的 数据 价值 观 。 第 二 
革 对 经 典 的 统计 图 表 做 了 系统 幽 默 的 阐述 。 其 原型 来 日 狗熊 会 公 号 的 “ 丑 图 百 讲 ” 系 
列 。 第 三 章 系统 前 述 我 们 对 于 回归 分 析 的 理解 。 在 “ 道 ” 的 层面 ， 回 归 分 析 是 一 种 重 
要 的 思想 ， 十 一 种 将 业务 问题 定义 成 数据 可 分 析 问 题 的 能 力 ;， 而 在 “ 林 ” 的 层面 ， 回 
归 分 析 才 古 我 们 沼 见 的 各 种 模型 。 第 四 革 主 要 讨论 传统 的 机 右 学 习 方法 ， 以 及 最 
近 很 火 烛 的 深度 和 学习。 最 后 一 划分 诗 了 狗熊 会 这 些 年 来 积累 的 众多 非 结 构 化 数据 
分 析 的 有 趣 生 例 ， 其 中 涉及 中 文 文本 、 网 络 结构 、 图 像 分 析 等 个 同 领 域 。 


本 书 由 狗熊 会 的 核心 创作 团队 ， 在 熊 大 的 “压迫 剥 曾 ” 下 ， 章 心 协 力 ， 经 过 多 次 
讨论 、 修 改 而 成 。 参 与 创作 的 成 员 有 “【〔 控 姓名 拼 普 排序 ) : 第 象 宇 (政委 ) 、 陈 
昱 〈 习 姐 ) 、 贡 天 阳 (小 站 )、 婧 媛 ( 媛 子 ) 、 罗 采 华 ( 康 爷 ) 、 潘 巧 〈 水 
妈 ) 、 王 菲菲 ‘次 灰 ) 、 王 汉 生 (能 大 ) 、 周 静 ( 静 静 ) 、 朱 雪 宁 《〈 布 了 ) 。 创 
作 团队 付出 了 巳 大 的 心血 和 努力 。 其 中 特别 要 感 斋 两 位 朋友 : 一 位 十 白 分 扩 集 团 
的 重 事 长 羔 C E O 欠 明博 士 ， 是 他 的 局 友 与 或 励 坚定 了 我 们 号 作 的 决心 ， 为 一 位 是 
中 国人 民 大 学 出 版 社 的 人 文章 编辑 ， 他 为 书 稳 的 形成 付出 了 巨大 的 努力 ， 儿 助 本 
书 选 择 书 名 、 安 排 草 三、 修改 文学 。 大 家 为 什么 愿意 做 出 如 此 羊 百 的 努力 与 付出 
呢 ? 我 想 都 是 基于 狗 束 会 的 理念 : 肾 数 据 瑞 才 ， 助 产业 振兴 。 这 是 狗熊 会 从 创立 
之 急 到 现在 从 未 改变 的 理念 。 


e 祖 数据 严 才 说 明 狗 能 会 关注 数据 科学 相关 的 基础 教育 ， 并 愿意 为 之 付出 捍 绝 
的 努力 。 狗 能 会 布 望 通过 提供 优 质 的 教育 素材 ， 和 帮助 年 轻 人 人 成长， 至 受 数 据 分 析 
的 快乐 ， 而 不 是 痛 圳 ， 并 在 这 个 过 程 中 实现 个 人 职业 的 扯 福 成 长 。 


e 助 产业 振兴 说 明 狗 能 会 看 重 产 业 实 践 ， 并 认为 这 才 是 产生 数据 科学 知识 的 唯 
一 产 果 。 狗 能 会 立 记 要 通过 目 己 微 注 的 努力 ， 障 伴 数 据 产 业 一 起 成 长 。 狗 能 会 司 
英 每 一 位 置 经 合作 过 的 企业 伙伴 ， 是 他 们 的 玛 励 文 持 让 狗熊 会 站 在 了 中 国 数据 产 
业 实 践 的 第 一 线 ， 并 因此 产生 了 接地 气 的 研究 诛 题 ， 以 及 高 质量 的 教学 产品 。 


态 外 ， 本 书 中 的 引用 的 图 族 除 特别 标注 的 之 外 均 来 目 网 络 ， 鉴 于 编者 在 引用 
这 些 图 厂 时 无 法 获知 原创 作者 及 出 处 ， 在 此 统一 对 原创 作者 表示 感谢 。 


最 后 ， 把 本 书 献 给 所 有 培 错 过 我 们 的 老师 ， 谢 调 你 们 的 辛 吾 芒 培 。 献 给 我 们 
所 有 的 企业 合作 伙伴 ， 站 在 你 们 的 恨 膀 上 ， 才 能 看 得 更 远 。 献 给 我 们 的 和 学生， 是 
你 们 痢 望 知识 的 双眼 ， 还 有 那 最 卖 丽 的 青春 年 党， 让 我 们 重任 在 恨 。 献 给 我 们 的 

















家 人 ， 感 谢 你们 的 理解 文 择 ， 我 们 才能 够 努力 拼搏 ， 一 往 无 前 。 视 福 我 国 的 数 拓 
产业 ， 视 福 数 据 科 学 教育 事业 ， 愿 它 的 每 一 天 部 更 加 大 好 。 视 福 狗 能 会 ， 愿 有 更 
多 记 同 志 合 的 小 伙伴 ， 跟 我 们 一 起 拼 捕 ,， “能 ” 趣 趟 同 击 ! 由 于 本 书写 作 仓促 ， 玖 源 
之 处 难免 ， 请 大 家 多 多 批评 指正 ! 


乎 有 下 攻 妥 类。 





前 言 中 提 到 ， 本 书 是 狗熊 会 〈 微 信 ID: CluBear) 的 核心 创作 集体 创作 的 。 相 
信 很 多 朋友 对 狗熊 会 并 不 了 解 ， 因 此 需要 简单 癌 大 家 介绍 一 下 狗 束 会 。 这 是 一 个 
什么 样 的 组 织 ? 它 的 名 字 是 怎么 来 的 ? 它 的 定位 和 使 命 是 什么 ? 


儿 年 前 ， 我 在 类 国 的 一 所 大 学 的 统计 系 访问 一 位 很 杰出 的 统计 学 家 。 期 间 我 
能 够 比较 近 距 离 地 观察 他 的 研究 团队 ， 那 是 一 个 非常 棒 的 、 路 学 科 的 科学 家 团 
队 。 我 从 中 学 到 了 很 多 东西 ， 受 到 很 多 的 局 发。 其 中 最 重要 的 司 肥 吏 是 : 也 许 未 
来 的 统计 学 研究 ， 或 者 数据 科学 研究 ， 会 跟 工 程 闫 学 科 越 来 越 相 似 。 单 打 独 斗 ， 
在 没有 前 途 的 ， 需 要 ' 打 群 潍 ? 才 行 ! 因此 需要 一 个 踢 大 的 、 多 学科 、 和 相互 文 撑 的 团 
队 。 为 此 ， 我 下 了 一 个 决心 : 回国 后 也 要 好 好 组 织 一 个 踢 有 力 的 研究 团队 。 要 彻 
人 
‘| | 








但 是 ， 回 国 以 后 ， 这 个 “集团 苗 ? 到 展 应 该 怎么 组 织 ? 我 没有 经 验 ， 因 此 一 头 筋 
水 ， 坚 无 想法 。 下 在 这 个 时 候 ， 人 铀 信和 群 开始 流行 起 来 。 于 是 ， 我 把 学 生 ， 还 有 数 
据 领 域 相关 的 朋友 ， 整 合 在 一 个 微 信和 群 里 ， 大 家 经 和 党 东 拉 西 扯 ， 也 聊 和 数据 相关 
的 话题 。 这 时 ， 问 题 来 了 ， 这 个 微 信 群 取 个 什么 名 衬 呢 ?我 想 了 好 信 ， 决 定 叫 “大 
数据 讨论 坦 *"。 结 果 没 多 信 ， 统 计 之 部 论 坛 的 二 代目 魏 太 云 同 学 束 跳 出 来 说 :“ 干 老 
师 ， 这 个 名 凶 太 土 了 。” 原 话 我 记 不 得 了 了， 大 总 束 古 : 现在 啊 ， 到 处 都 在 说 大 数 
据 ， 但 大 数据 是 喻 ? 有 清晰 、 统 一 的 定义 吗 ? 还 有 什么 不 是 大 数据 吗 ? 这 个 名 至 
太 low 了 ! 想 想 也 是 ， 于 是 我 说 :“ 那 请 你 给 取 个 名 字 呐 ! ”* 太 云 同 学 估计 受 武侠 小 
说 茶 毒 不 乒 ， 突 独 说 :“ 王 老师 ， 咀 们 叫 ' 瑞 雄 会 :怎么 样 ? ”我 昕 了 ， 弄 点 没 军 过 
不 ! 这 个 名 于 不 是 更 二 四? 还 天 肆 会 ?” 玲 认 为 我 们 息 类 符 呵 ?我 完 得 到 良 会 "这 吾 
个 多 ! 


当时 ， 就 是 一 句 逗 乐 的 气 话 。 结 果 过 了 儿 周 ， 我 自己 也 没 想 出 更 好 的 名 字 
来 。 相 反 ， 我 越 来 越 觉 得 “狗熊 会 ”这 个 名 字 插 好。 狗熊 多 可 爱 啊 ， 很 多 动画 片 的 主 
角 都 是 狗熊 :小 能 维尼 就 是 一 只 能 《能 出 没 》 里 的 能 大 、 能 二 也 是 能 ;还 有 
《 奇 约 和 森林》 里 也 有 一 只 非常 可 爱 的 能 。 于 是 ， 我 在 微 信 群 里 说 了 一 下 这 个 想 
法 ， 没 想到 没 人 反对 !“ 狗 能 会 ” 束 这 样 叫 开 了 ， 一 直 延 用 到 现在 的 微 信 公众 写 。 由 
于 本 书 大 量 的 原始 素材 (例如 ， 原 文 、 普 频 、 数 据 、 程 序 ) 都 在 微 信 公众 号 上 。 
内 此 ， 要 充分 享受 本 书 的 乐趣 ， 请 大 家 关注 狗 能 会 公众 写 (ID: CluBear) ， 或 者 
直接 扫 搬 二 维 人 码 。 














其 实 当时 也 没有 什么 特别 的 想法 ， 吏 是 作 得 好 玩 。 搂 下 来 ， 意 想不到 的 事情 
发 生 了 ! 我 意外 地 发 现 ,“ 狗 能 会 ”的 品牌 传播 效 来 出 奇 得 好 。 为 什么 ? 因为 这 个 名 
子 太 可 栈 了 ， 人 们 双人 不 住 要 问 : 狗熊 会 是 什么 ?为 什么 。 要 取 这 么 一 个 奇 葛 的 名 
子 ? 这 名 子 跟 数据 分 析 有 什么 关系 呢 ? 网 是 这 一 问 一 答 的 过 程 ， 让 很 多 朋友 记 住 
本 这 个 名 字 。 因 此 ,“ 狗 能 会 成 了 我 们 团队 的 称号 ， 也 成 了 我 特别 珍惜 的 品牌 。 从 
此 在 数据 的 江湖 上 ， 王 老师 开始 以 “能 大 ”自称 。 


作为 一 个 蝇 大 上 的 品牌 ， 狗 能 会 知 要 一 个 目 己 的 logo。 在 我 的 百般 恩 求 下 ， 我 
家 小 朋友 用 铅笔 在 么 插 纸 上 ， 男 了 一 个 大 大 的 熊 脑袋。 他 夯 出 了 小 朋友 心中 斑 态 
可 挤 的 能 大 。 这 张 持 图 后 来 在 一 位 名 为 妈 开 你 的 大 朋友 的 帮助 下 ， 去 挥 了 一 些 不 
必要 的 线条 和 背景 ， 髓 无 任何 其 他 修改 ， 成 为 了 狗熊 会 的 logo。 我 对 这 个 logo 超 级 
满意 ! 他 男 出 了 我 心中 狗熊 那 种 伊 伊 的 但 是 很 可 爱 的 柱子 ! 这 个 logo 也 时 刻 提醒 我 
两 件 事情 : 第 一 ， 傻 公 的 狗 束 捉 醒 我 目 己 是 无 知 的 对 这 个 世界 ， 对 数据 相 
天 的 芝 科 ， 目 己 都 站 无 知 的 ， 要 保持 好 奇 心 ， 督 促 目 己 持 续 和 学习。 第 二 ， 可 爱 的 
狗熊 近 醒 我 要 普 民 、 要 快乐 ， 为 这 个 社会 多 创造 一 点 欢乐 的 正 能 量 。 这 两 点 构成 
了 狗熊 会 的 品牌 内 育 。 











如 今 的 狗熊 会 是 一 个 致力 于 数据 产业 的 高 站 智库 。 独 能 会 带 助 合 作 伙 伴 制定 
数据 战略 ， 菩 弈 数据 人 才 ， 研 冤 数 据 业 务 ， 有 发 现 数据 价值 ， 推 动产 业 进 步 ! 狗 能 
会 给 目 己 确定 的 使 命 是 : 聚 数据 英才 ， 助 产业 振兴 ! 


第 一 ， 聚 数据 英才 。 这 说 明 狗 能 会 关注 数据 科学 基础 教育 ， 希 望 通过 “生产 优 
质 的 数据 科学 科普 教育 内 容 〈 例 如 本 书 ) ， 提 供 点 越 的 研究 、 实 践 、 就 业 机 会 ， 
帮助 相关 专业 的 老师 、 同 学 、 从 业者 ， 充 分 享受 数据 分 析 的 快乐 ， 促 进 个 人 职业 
的 终身 幸福 与 成 长 。 

第 二 ， 助 产业 振兴 。 狗 能 会 认为 优质 的 数据 科学 教育 一 定 不 能 脱离 数据 产业 
实践 。 狗 能 会 的 任务 就 是 通过 联合 研究 、 高 端 咨询 等 多 种 形式 ， 陪 伴 中 国 的 数据 
产业 一 起 成 长 。 在 此 过 程 中 ， 通 过 多 种 形式 例如 本 书 》 ， 刍 力 成 为 连接 产 学 研 
六， 
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安徒生 有 一 部 伟大 的 作品 《旺角 的 新 猴 》。 作 品 中 反映 出 的 世人 的 虚 
伪 、 虚 宋 、 贫 念 ， 世 世代 代 都 存在 。 反 思 这 部 伟大 的 作品 ， 小 处 可 以 检讨 目 己 的 
利益 取 人 省， 大 处 可 以 看 看 现在 热 曾 非 几 的 大 数据 时 代 。 下 和 面 以 一 个 独特 的 视角 ， 
审视 当前 的 大 数据 时 代 是 不 是 正 罕 月 “ 星 融 的 新 闻 ”。 











图 0-1 


”很 久 很 久 以 前 ， 有 一 位 可 爱 的 皇帝 ， 他 掌管 着 一 个 巨大 的 传统 企业 ， 专 业 卖 
豆浆 。 业 务 靠 谱 ， 收 入 稳定 ， 每 个 员工 臣民 都 过 得 幸福 安康 


但 是 ， 大 数据 时 代 到 来 了 ， 王 国内 外 六 数据 的 狂风 一 阵 阵 刊 过 ， 吹 得 星 帝 的 
企业 王国 播 播 时 元 。 终 于 有 一 天 ， 这 位 星 帝 坐 不 住 了 。 为 了 能 让 目 己 的 企业 王国 
在 数据 产业 的 世界 里 看 起 来 识 完 一 些 ， 他 决定 不 情 伦 费 巨 额 的 资金 和 至 贰 的 时 
间 ， 做 大 数据 转型 。 

但 遗憾 的 是 ， 他 既 不 关心 数据 业务 ， 也 不 关注 数据 技术 ， 喝 不 会 对 菏 一 个 重 
下 数据 行业 做 深入 研究 。 如 朱 偶 和 尔 损 一 个 大 数据 “新 夭 服 饰 肥 布 会 ”， 那 也 无 非 症 为 
了 烃 交 一 下 他 的 “新 衣服 ”， 好 在 数据 产业 的 世界 里 后 一 个 珊 。 


他 每 天 部 要 换 一 套 新 衣服 。 这 些 衣 服 有 数据 挖 据 、 机 右 学 习 、 大 数据 、 深 度 


学 习 ， 偿 有 最 近 和 特别 流行 的 人 工 售 能 。 但 是 ， 其 实 没 有 一 套 衣 服 他 是 真心 研究 过 
的 ， 没 有 一 父 衣 服 他 是 真心 明了 的 。 


只 要 他 一 开口 ， 真 正 的 时 小 议 计 师 就 会 知 十 ， 他 对 例如》 机 融 学 习 ， 其 实 


狗 尼 不通。 但是， 人 人 们 提 人 到 他 的 时 候 总 古 说 :“ 旺 营 在 更 衣 宇 里 ， 正 在 制定 独 的 大 
数据 战略 呢 ! 





图 0-2 


有 一 天 ， 来 了 两 个 大 数据 “ 臣 家 ”， 尤 其 擅长 4V (volume: 数据 量 特 别 大 ; 
variety: 形 却 多 样 化 ;， velocity: 速度 特别 快 ， veracity: 数据 要 真 实 ) 。 据 说 ， 他 
们 能 做 出 人 间 最 牛 的 数据 分 析 、 超 级 烃 栈 的 可 视 化 呈现 ， 相 关 数 据 产品 不 仪 色彩 
和 图 季 邦 分 外 和 天 观 ， 而 且 让 你 脑 洞 大 开 。 在 他 们 面前 ， 没 有 解决 不 了 的 数据 问 
题 ! 加 入 会 员 微 信 whair004 


这 主要 得 谷 于 他 们 奇 醒 的 理论 框 染 。 这 个 框架 认为 : 简单 数据 的 简单 分 析 是 
统计 分 析 ， 而 复杂 数据 的 复杂 分 析 是 深度 学 习 。 而 且 他 们 的 六 数据 产品 还 有 一 种 
奇怪 的 特性 : 任何 不 称职 的 甲 方 客 户 ， 轴 本 的 、 不 可 救 约 的 投保 人 ， 或 者 容重 小 
数据 统计 学 改 授 ， 必 无 法 体会 他 们 大 数据 思想 的 类 妙 。“ 填 真是 理想 的 衣服 !1 ” 星 帝 
心里 想 ,“ 非 常 符合 我 的 大 数据 战略 梦想 ! 要 知道 ， 昨 天 我 穿 的 机 器 学 习 已 经 过 时 
耳 ， 卫 壁 老 王 对 此 非 第 于 视 呢 。 对 了 ， 我 今天 炫 浴 的 深 友 学 习 也 民企 了 ， 明 天 符 
哈 昵 ? 噢 ， 人 工 知 能。 但 是 ， 无 论 这 皇 衣 服 如 何 炫 酷 ， 似 乎 都 没 法 跟 他 们 的 衣服 
比 啊 ! ” 


“ 罕 了 这 样 的 衣服 ， 束 可 以 看 出 在 我 的 企业 王国 里 哪些 人 不 称职 ， 残 可 以 状 列 
出 哪 些 是 聪明 客户 ， 哪 芋 是 傻瓜 投资 人 ， 还 有 哪些 是 简单 数据 傈 单 统计 的 从 集 教 
授 。 十 的 ， 我 要 叫 他 们 马上 为 我 织 出 这 样 的 布 来 。 ”村 是 他 付 了 许多 钱 给 这 两 个 优 
家 ， 好 让 他 们 马上 开始 工作 。 








图 0-3 


两 位 契 家 摆 出 两 如 织 布 机 ， 一 以 叫 星 家 狐 冯 大 数据 派对 ;万 一 架 叫 星 ”家 新装 
大 数据 俘 场 。 把 两 巢 织 布 机 放 在 一 起 叫 星 家 新 猴 大 数据 高 档 会 万 ! 可 和 是， 他们 的 
织 布 机 上 连 一 点 东西 的 影子 也 没有 。 他 们 的 织 布 机 上 首先 缺乏 的 是 能 够 产生 价 但 








的 具体 业务 要 知道 这 可 是 数据 织 布 的 基本 原材料 啊 。 他 们 的 织 布 机 劳 也 没 
有 带 于 要 知道 ， 织 一 匹 最 棒 的 数据 布料 ， 没 有 徘 说 的 数据 人 才 ， 怎 么 可 能 
呢 ? 


但 是 ， 他 们 急迫 地 请 求 发 给 他 们 一 些 最 细 的 生丝 、 最 棒 的 办 公 室 ， 还 有 最 多 
EE ES OE 
到 深夜 。 


“我 倒 很 想 知道 布料 究竟 织 得 怎样 了 。?” 旺 帝 想 。 不 过 ， 想 起 凡是 思 幼 的 甲 方 客 
户 、 不 称职 的 投资 人 ， 还 有 帅 酸 的 教授 都 看 不 见 这 块 布 ， 星 斋 心 里 的 硝 感到 个 大 
目 然 。 他 相信 目 己 古 无须 害怕 的 ， 但 仍然 寓 得 和 完 派 一 个 人 去 看 看 工作 的 进展 情形 
比较 有 尝 当 。“ 我 要 派 我 碱 实 的 老大 蔬 ， 我 的 拉 术 副 总 裁 ， 到 夸 家 那儿 去 。” 呈 芝 
想 , “他 最 能 看 出 这 布料 是 什么 样子 ， 因 为 他 是 我 的 技术 副 总 裁 ， 专 业 上 最 徘 说 ， 
很 有 理智 ， 束 称职 这 点 来 说 ， 谁 也 个 及 他 。” 


这 位 善 民 的 各 大 巴 来 到 那 两 个 砖 家 的 屋子 里 ， 看 见 他 们 正在 空 的 织 布 机 上 人 忙 
人 碌 地 工作 。“ 愿 上 第 可 怜 我 吧 ! ”老大 马力 ， 他 把 眼 瞩 具 得 特别 大 , “我 什么 东西 也 
没有 看 见 ! ”但 是 他 没 敢 把 这 名 话说 出 口 。 那 两 个 砖 家 请 他 走 近 一 点 ， 同 时 指 着 那 
两 架空 织 布 机 ， 问 他 深度 学 习 的 花纹 是 不 是 很 并 丽 ， 人 工 乔 能 的 色彩 是 不 是 很 课 
涡 ， 还 有 那 机 痊 学 习 的 风格 和 是 不 是 非常 符合 数据 控 据 的 特 扣 。 可 怜 的 儿 太 下 眼睛 
越 睁 越 大 ， 仍 然 看 不 见 什 么 东西 。 他 过 去 习惯 于 完成 一 个 具体 项 目 开 肥 部 普 ， 有 
确切 可 见 的 业务 价值 ， 并 且 可 以 通过 一 些 指标 测量 。 


但 是 ， 当 这 两 个 砖 家 将 一 堆 时 苇 的 专业 大 数据 词汇 疝 他 砸 过 来 的 时 候 ， 他 局 


了 。 他 全 然 不 知道 应 该 如 何 应 答 ， 更 不 知道 一 个 诚实 的 应 答 是 否 会 计 目 己 显 得 很 

钴 。 对 了 ， 上 听 说 旺 关 最 近 正 在 全 宇宙 招聘 “全 大 数据 ”的 首席 数据 官 (Chief ”Data 
Officer，CDO) ， 这 可 不 妙 ， 他 有 可 能 “下 课 ” 呢 。 他 绝对 不 能 露 层 ， 全 少 为 大 数 
据 唱 赞歌 ， 旺 销 表 定 会 开心 。 于 是 ， 抠 术 副 总 裁 说 道 :“ 哎 旦 ， 疾 极 了 ! 真是 美 极 
了 1! ”他 一 边 说 ， 一 边 从 他 的 眼镜 里 仔细 地 看 ,， “这 数据 量 多 大 啊 ， 多 么 异 构 啊 ! 这 
人 工 智 能 的 花纹 多 美丽 啊 ! 这 深度 学 习 的 色彩 太 人 惊艳 了 ! 这 跟 我 见 过 的 谷歌 大 数 

据 、 I B  M 大 数据 都 太 像 了 ! 是 的 ， 我 将 要 呈报 星 帝 ， 我 对 这 布料 非常 满意 。 
”了 喇 ， 我 们 听 了 徘 间 高兴 。?” 两 个 砖 家 齐 声 说 。 

于 是 他 们 束 把 色彩 和 稀有 的 花纹 描述 了 一 番 ， 还 加 上 些 专 业 名 词 ， 尤 其 是 


4V， 有 出 嘱 老大 巴 一 定 要 牢记 在 心 。 老 大 臣 全 神 员 注 地 听 痢 ， 以 便 回 到 星 帝 那儿 可 
以 照样 百出 来 。 事 实 上 他 也 这 样 做 了 ， 他 全 少 否 出 了 4V! 
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图 0-4 
这 两 个 砖 家 义 要 了 更 多 的 生丝 和 人 金子， 说 是 为 了 织 布 的 需要 。 他 们 把 这 些 东 


西 全 状 进 了 腰包 。 


过 了 不 久 ， 星 各 又 派 出 了 男 一 位 诚实 的 官员 负责 市 场 的 副 总 裁 。 这 位 
官员 的 运气 并 不 比 头 一 位 好 :他 看 了 义 看 ， 但 古 那 两 架空 织 布 机 上 什么 也 没有 ， 
他 什么 东西 也 看 不 出 来 。 但 是 他 想 ， 我 一 个 市 场 副 总 裁 ， 如 果 被 人 数落 不 异 大 数 
据 ， 这 可 太 没 面子 了 ， 以 后 怎么 做 市 场 啊 ? 如 何 管理 公共 关系 ? 会 不 会 在 销售 的 
兄弟 面前 露 愤 ? 不 ! 这 绝对 不 能 发 生 ! 保险 一 点， 还 是 说 目 己 异 吧 ， 这 人 至少 能 让 
时 第 开心 。 他 就 把 他 完全 没 看 见 的 布 称赞 了 一 番 ， 同 时 保证 说 ， 他 对 这 些 美 丽 的 
色彩 和 巧妙 的 花纹 感到 很 满意 。“ 是 的 ， 那 真是 太美 了 ! ”他 对 星 第 说 ， 他 也 准确 地 
背 出 了 4V! 


现在 数据 城 里 所 有 的 人 部 在 谈论 看 这 美丽 的 布料 。 星 营 很 想 茉 目 去 看 一 次 。 





他 圈定 了 一 群 特 列 随 员 ， 其 中 包括 已 经 去 看 过 的 那 两 位 城 实 的 大 蕊 。 “您 看 这 布 华 
丽 不 华丽 ? ” 那 两 位 诚实 的 官员 说 , “陛下 请 看 ， 多 人 么 美的 多 源 异 构 的 花纹 ， 像 谷歌 
不 ? 多 么 美的 数据 挖掘 色彩 ， 像 IBM 不 ? ”他 们 指 着 那 架 空 织 布 机 ， 他 们 相信 别人 
一 定 看 得 见 布 料 。 


“这 是 怎么 一 回 事 呢 ?” 星 各 心里 想 ,，“ 我 什么 也 没有 看 见 ! 这 可 骇人听闻 了 。 
难道 我 是 一 个 是 短 的 人 吗 ? 难道 我 不 够 资格 当 星 营 吗 ? 这 可 十 最 可 怕 的 事情 了 ， 
绝对 不 能 让 别人 知道 ! ” 

“中 蚜 ， 丰 是 美 极 了 ! ? 星 帝 次 , “这 是 我 见 过 的 最 美妙 的 大 数据 战略 ， 对 我 们 


这 样 的 传统 行业 更 是 非 第 准确 。 我 十 分 满意 ! “于 是 他 点 头 表 示 满 晶 。 他 仔细 地 看 
看 织 布 机 ， 不 愿 说 出 什么 也 没 看 a 到。 





图 0-5 


跟 看 他 来 的 全 体 随员 也 仔细 地 看 了 义 看 ， 可 古 他 们 也 没 比 列 人 看 到 更 多 的 东 
西 。 他 们 人像 星 帝 一 样 ， 也 说 :“ 哎 果 ， 黄 是 美 极 了 ， 完 全 达到 了 4V 的 境界 ! ”他 们 
问 星 第 建议 ， 用 这 新 的 、 美 丽 的 布料 做 成 衣服 ， 穿 看 这 衣服 去 参加 快要 举行 的 产 
品 有 发 布 会 ， 并 作为 下 年 度 的 重点 产品 同 所 有 客户 强力 销售 。“ 这 布料 是 华丽 的 ! 精 
致 的 ! 举世 无 双 的 ! ”每 个 人 部 随 声 附和 ， 每 个 人 都 有 说 不 出 的 快乐 。 


旺 珊 赐 给 契 家 “ 御 险 大 数据 契 家 ”的 头衔 ， 封 他 们 为 茵 士 ， 并 授予 一 枚 可 以 挂 在 
扣 眼 上 的 勋章 。 





第 二 天 早上 ， 新 产品 发布 会 了 加 要 开始 了 ， 众 人 期 行 的 洲 行 大 由 束 要 举行 了 。 
星 帝 备 上 用 这 布料 做 出 的 顽 丽 新 衣 ， 开 始 了 他 的 产品 发 布 会 。 


站 在 街 上 的 各 户 、 投 资 人 ， 还 有 傻 叙 的 教授 们 都 说 :“ 玉 和 开 ! 星 上 的 新 闻 真 是 
深 完 ! 这 球 大 数据 产品 太 炮 栈 了 ! 瞧 瞧 那 4 V 真 合 他 的 吴 材 ! * 谁 也 不 愿意 让 人 知道 
目 己 什么 也 没 看 网， 因为 这 样 束 会 显 出 目 己 对 大 数据 狗屁 不 通 ， 显 得 目 己 党 后 不 
称职 ， 或 是 太 昕 短 。 旺 名 所 有 的 衣服 从 来 没有 获得 过 这 样 高 的 称赞 。 


终于 ， 一 个 小 白 客 户 义 不 住 了 ， 小 声 地 、 层 层 地 问 了 一 句 :“ 他 好 像 什么 也 没 
罕 啊 ?这样 的 数据 产品 我 为 什么 要 买 呢 ? 买 了 对 我 有 什么 用 啊 ? 对 我 提高 收入 有 
用 吗 ? 对 我 控制 成 本 有 用 吗 ? 对 我 降低 风险 有 用 吗 ? 什么 用 也 没有 啊 ， 还 不 如 我 
家 的 Excel! 这 不 是 骗 钱 吗 ? ” 


不 说 不 要 紧 ， 小 白 一 说 ， 钱 多 人 傻 的 大 客户 们 也 开始 哨 咕 :“ 这 高 大 
上 的 新 衣 ， 对 我 家 的 业务 真 的 有 用 吗 ? 我 怎么 缺乏 信心 昵 1“ 傻 傻 附和 的 教授 


们 也 开始 咬 吐 :“ 星 第 的 新 衣 是 不 是 太 局 大 上 了 啊 ? 真心 不 虱 啊 ! “他 实在 没 穿 什 
么 衣服 蚜 ! ”最 后 所 有 的 日 姓 都 这 么 说 。 





图 0-7 


星 第 有 反 儿 友 拌 ， 因 为 他 千 得 白 姓 们 的 话 似 乎 是 真 的。 不过， 他 的 资源 已 经 
投入 了 ， 时 间 已 经 消耗 了 ， 他 不 想 册 失去 在 臣民 面前 最 后 一 丝 仅 存 的 看 严 ， 他 不 
想 在 投资 人 面前 更 难堪 。 于 是 ， 他 想 :“ 我 必须 把 这 游行 大 典 举行 完毕 。” 


因此 他 氛 出 一 副 更 骄 做 的 神气 。 他 的 内 蔬 们 跟 在 后 耐 ， 手 中 托 看 一 条 在 风尘 
中 播 丰 的 大 数据 “时 市 ”.….… 


温 蕊 提醒 : 进入 狗 能 会 公众 号 (CluBear) 输入 文字 :“ 新 衣 ”， 听 能 大 音频 ! 


第 一 草 / Chapter One 朴 对 的 数据 价值 观 


邦 讽 今天 是 数据 的 时 代 ， 到 处 部 在 讨论 大 数据 ， 每 个 人 部 说 目 己 在 研究 大 数 
据 ， 到 处 都 守 称 数据 可 以 产生 价值 ， 但 是 ， 到 撒 什 么 站 数据 ? 什么 又 是 价值 ? 如 
何 实现 从 数据 到 价值 的 园 换 ? 其 育 后 的 基本 方法 论 是 什么 呢 ? 能 大 通过 市 领 团队 
古寺 
外 价值 观 。 


什么 是 数据 ? 这 个 看 似 傈 单 的 问题 却 个 易 回 答 。 我 们 可 以 答 试 癌 不 同 的 人 请 
教 ， 相 信 会 得 到 很 多 不 同 的 答案 。 


各 见 的 答 和 某 有 两 个 : 一 征 数 据 融 是 信息 。 这 对 吗 ? 完全 正确 。 但 这 个 定义 太 
抽 朋 了。 数据 和 信和 县 都 是 非常 抽样 的 概 候 ， 两 着 的 相互 定义 ， 并 不 令 人 满意 。 二 
是 数据 就 是 数学 。 这 对 吗 ? 有 一 定 的 道理 ， 因 为 数学 是 一 种 最 典型 的 传统 数据 。 
例如 ，GDP， 股 市 的 指数 ， 人 的 吴 局 、 人 体重、 血压 等 ， 都 是 数字 ， 也 都 是 数据 。 
因此 ， 我 们 可 以 得 出 其 实数 学 就 是 数据 。 但 是 反 过 来 ， 数 据 就 是 数学 吗 ? 未 必 。 


能 大 认为 ， 几 是 可 以 电子 化 记录 的 其 实 者 是 数据 。 这 里 的 记录 不 是 醒 


什么 征 数 据 ? 


目 然 人 的 大 脑 ， 而 是 通过 必要 的 信息 化 撤 术 和 电子 化 手段 。 基 于 些 ， 数 据 的 
江 胃 了 现 大 得 多 了 ， 近 不 局 限于 数字 。 既 然 涉 及 电子 化 记录 ， 束 要 谈 谈 记 录 数 据 的 
扩 术 手段 。 手 机 、 数 但 相机 、 各 种 工程 设备 上 的 探头 等 ， 都 是 记录 的 技术 手段 。 
但 这 些 于 段 是 有 时 代 特 征 的 ， 不 同时 代 所 能 够 提供 的 记录 的 扩 术 手段 是 不 一 样 
的 。 这 如 是 能 大 的 数据 时 代 观 。 


问 : 声 普 是 数据 吗 ? 


在 很 久 很 久 以 前 ， 声 音 并 不 是 数据 。 因 为 当时 没有 任何 技术 手段 能 够 把 它 记 
录 下 来 。 妈 然 不 能 记录 下 来 ， 更 谈 不 上 分 析 ， 怎 么 说 它 是 数据 呢 ? 但 是 今天 ， 首 
频 议 备 可 以 采集 声音 ， 然 后 转化 为 音频 数字 信和 号， 进而 文 撑 很 多 有 趣 的 应 用 ， 比 
如 让 Phone 的 Siri、 搜 狐 的 语音 输入 法 、 微 信 的 语 彰 翻 详 ， 等 等 。 由 此 可 见 ， 在 可 以 
记录 声音 的 时 代 ， 声 音 是 一 种 数据 ， 而 且 是 一 种 具有 强烈 时 代 特 征 的 数据 。 


问 : 图 像 古 数据 吗 ? 
在 很 久 很 人 以 前 ， 图 像 也 不 十 数据 ， 因 为 记录 个 下 米 。 图 像 只 能 古人 们 肉眼 


中 看 到 的 这 个 大 千 世 界 ， 如 此 天 妙 ! 但 遗 慑 的 是， 上 只 是 过 眼 云烟 ， 转 瞬 即 逝 ， 没 
法 记录 。 今 天 整个 一 样 了 ， 数 人 码 成 像 拉 术 的 成 熟 让 所 有 的 图 像 痢 能 够 记录 下 来 ， 

















而 且 分 辨 奈 非常 局。 在 此 基础 上 ， 人 们 可 以 做 进一步 的 分 析 和 建 醒 ， 进 而 文 返 很 
多 有 趣 的 应 用 。 例 如 ， 脸 部 识别 、 指 纹 识别 、 和 车 脾 写 识别 、 半 图 荔 夯 ， 还 有 医学 
中 大 量 的 医学 影像 分 析 。 由 此 可 见 ， 在 可 以 记录 图 像 的 时 代 ， 图 像 也 十 一 种 数 
据 ， 而 且 是 一 种 具有 强烈 时 代 特 征 的 数据 。 


类 似 的 例子 还 有 和 很多。 例如， 生物 信息 技术 的 进步 产生 了 Microarray 数 据 ， 社 
区 网 络 的 兴起 产生 了 社交 链 数 据 ， 物 联网 技术 的 成 亢 产 生 了 车 联网 数据 。 所 有 这 
些 都 是 电子 化 的 记录 ， 都 是 数据 。 所 有 这 些 数 据 的 产生 都 依赖 于 一 定 的 技术 手 
段 ， 都 有 强烈 的 时 代 特 征 。 因 此 ， 科 和 苑 研究 和 商业 实践 也 许可 以 党 试看 思考 : 第 
一 ， 在 当前 以 及 未 来 可 见 的 时 间 内 ， 数 据 采 集 的 基础 技术 是 否 会 有 一 些 突 破 性 的 
变 平 ? 如 果 有 ， 这 些 变 单 会 发 生 在 哪些 方 辐 上 ? 进而 市 来 哪些 新 的 数据 ? 第 二 ， 
通过 对 这 些 新 的 数据 进行 分 机 ， 能 够 回答 哪些 之 前 不 能 回答 的 重大 科学 问题 ? 是 
否 可 以 产生 一 些 增 量 的 商业 价值 ? 


温 兢 提醒: 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 : “数据 ”， 听 能 大 音频 ! 





数据 的 商业 价值 


明白 了 什么 是 数据 ， 下 面 讨论 数据 的 商业 价值 。 不 要 以 为 这 个 问题 很 简单 ， 
只 有 有 “ 圳 过 款 ” 的 小 伙伴 ， 才 知道 这 个 问题 的 重要 性 。 只 有 说 消 楚 了 数据 的 商业 价 
值 ， 客 户 才 容易 为 数据 买单 ， 数 据 企 业 才 容易 产生 利润 ， 效 据 产 业 中 才 不 会 有 那 
么 多 的 困惑 。 


商业 价值 三 要 系 


先 来 思 芳 以 下 问题 : 第 一 ， 企 业 徘 什么 活 看 ? 答 : 收入 ! 即使 没有 现在 的 收 
入 ， 也 得 有 未 来 可 预期 的 收入 。 第 二 ， 企 业 为 了 获得 收入 ， 需 要 做 什么 ? 答 : 文 
出 。 文 出 包括 方方面面 ， 如 人力、 物力 、 时 间 、 衬 间 等 。 收 入 减 去 文 出 ， 焉 是 利 
润 。 但 是 ， 在 资本 当道 的 今天 ， 利 润 可 以 暂时 是 负 的 ， 没 有 问题 ， 因 为 很 多 利 油 
为 负 的 企业 的 倍 值 都 非常 高 。 究 其 原因 是 大 家 看 好 企业 未 来 的 利润 。 第 三 ， 没 有 
任何 企业 对 自己 未 来 的 收入 和 支出 是 100% 确 定 的 ， 因 为 这 里 面 有 很 大 的 不 确定 
性 ， 而 不 确定 性 市 来 的 是 什么 ? 管 : 风险 。 而 且 企业 可 能 还 会 涉及 一 些 重 大 的 风 
险 ， 这 些 风 险 所 寻 敏 的 损失 是 很 难 用 货币 计量 的 。 例 如 ， 酉 桨 倒 志 、 钠 和 炉 灯 炸 。 
这 束 古 能 大 关于 数据 的 商业 价值 理论 框 染 的 三 个 关键 词 : 收入 、 文 出 、 风 险 。 任 
何 数据 产 品 ， 如 条 可 以 帮助 客户 ， 在 这 三 个 方面 中 的 任何 一 个 方面 实现 可 量化 的 
改进 ， 那 么 这 个 数据 的 商业 价值 束 比 较 容 易 说 消 楚 ， 奋 则 非常 困难 。 


收入 


从 一 个 数据 从 业者 的 角度 ， 可 以 先 和 检讨 一 下 ， 你 的 数据 产品 能 个 为 客户 市 来 
额外 的 收入 。 请 注意 ， 征 “额外 ”。 


例 1-1 5S0 碗 豆浆 的 价值 


假如 客户 是 卖 辟 浆 的 ， 以 前 没 用 你 的 数据 分 析 ， 他 每 天 夹 100 硕 。 用 了 你 的 效 
据 分 析 后 ， 每 天 能 卖 多 少 呢 ? 如 果 还 是 100 碗 ， 那 么 数据 分 析 的 价值 在 哪里 ?如 果 
是 150 硫 ， 那 么 你 的 价值 孢 体现 出 来 了 。 这 个 价值 的 大 小 束 是 额外 的 50 硕 豆浆 ! 作 
为 数据 分 析 服 务 的 提供 者 ， 下 合 束 可 以 将 这 50 碗 豆浆 作为 基准 进行 收费 了 ? 


例 1-2 最 理想 的 额外 收入 一 一 一 新 兴 市 场 


最 理想 的 额外 收入 应 该 是 什么 ”能 大 认为 是 新 兴 市 场 。 例 如 ,，“ 五 一 ”小 长 假 ， 
大 家 要 开车 出 去 玩 ， 堵 车 是 必然 的 ， 那 么 能 和 否 出 一 个 堵车 险 ? 每 堵车 1 分 钟 ， 保 险 
公司 给 你 赔付 1 换钱 ， 补 偿 一 下 你 那 郁 闷 的 心情 。 看 似 不 错 的 主意 ， 保 险 公 司 为 什 
么 不 做 昵 ? 因 为 传统 的 保险 公司 没有 技术 手段 可 以 实时 监控 一 辆 车 的 状态 。 它 不 
知道 你 是 否 堵车 ， 更 不 知道 你 堵 了 多 和 久 。 但 是 ， 有 了 车 联网 数据 ， 这 个 故事 束 改 
人 
狐 兴 市 场 。 


例 1-3 ”百度 付费 搜索 广告 
为 什么 很 多 广告 主 对 百度 的 付费 搜索 广告 非常 依赖 ?因为 百度 的 付费 搜索 三 


























告 确 实 为 他 们 市 来 了 收入 的 增加 。 为 什么 白 度 可 以 做 a 到 这 操 ? 一 个 最 基本 的 蛛 因 
是 ， 通 过 对 用 户 搜索 数据 的 深入 分 析 ， 理 解 用 户 意图 ， 进 行 精准 匹配 。 所 以 ， 对 
于 请 如 医疗 、 教 育 、 电 疝 等 行业 而 咯 ， 白 度 的 广告 投 入 能 够 且 接 市 来 销售 收入 。 
这 束 是 数据 分 析 的 价值 ， 收入! 


文 出 


有 朋友 说 ， 我 们 的 数据 分 析 距 离 市 场 销售 病 有 氮 远 ， 不 能 给 客 己 直接 增加 收 
和 入， 但是， 能 给 客户 下 约 不 必要 的 文 出 ， 也 束 生 成 本 ， 你 看 这 样 行 吗 ? 当然 行 
啊 ， 而 且 更 好 ! 为 什么 ? 因为 收入 的 增加 往往 具有 很 踢 的 不 确定 性 ， 但 是 成 本 却 
在 目 己 的 预算 控制 范围 内 ， 相 对 而 言 更 具 可 探 性 。 


前 文 扣 人 到 要 开 尽 一 个 新 兴 的 堵车 你 险 市 场 ， 但 是 这 个 新 兴 的 市 场 到 的 能 市 来 
多 少 额 外 的 收入 呢 ? 非常 不 确定 。 再 比如 说 ， 超 市 现 有 100 个 收银 员 ， 但 是 通过 技 
术 改 造 ， 效 据 分 析 ， 合 理 排 班 ， 肥 现 80 个 融 可 以 了 。 下 接 下 省 了 20 个 收银 员 的 人 
工 成 本 ， 这 古 非常 确定 的 事情 。 因 此 ， 如 果 数 据 分 析 可 以 市 管 文 出 ， 堵 更 好 ， 因 
为 更 徘 详 、 可 探 性 更 强 ! 


例 1-4 呼叫 中 心 运营 改进 


呼叫 中 心 最 重要 的 成 本 是 什么 ”人 工 坐 唐 成 本 。 如 果 通 过 数据 分 析 可 以 精确 
把 握 电 话 呼 入 量 的 规律 ， 束 可 以 合理 安排 坐席 。 其 中 ， 包 括 应 该 安排 多 少 全 职 坐 
遍 、 多 少 莱 职 坐 遍 。 为 此 ， 数 据 分 析 可 以 通过 研究 电话 呼 入 量 与 星期 几 有 的 关系 、 
与 一 天 中 时 间 段 的 关系 、 与 企业 重大 市 场 行 为 的 天 系 ， 长 全 与 天 气 状况 、 空 气 污 
染 之 间 的 关系 来 解决 这 个 问题 。 如 果 技 术 进 一 步 近 局 ， 可 以 通过 准 全 的 语音 效 扼 
分 析 理 解 客 户 意 匈 。 那 么 ， 这 能 市 来 多 大 的 成 本 下 省 ? 是 不 是 人 工 坐 硕 成 本 融 可 
以 被 彻 压 管 略 了 ? 这 网 是 数据 分 析 市 来 的 价值 。 


例 1-5 ”开关 车 窗 电 机 的 设计 大 命 


我 们 绝 大 多 数 汽车 制造 的 技术 标准 都 是 来 目 欧美 国家 。 这 上皇 制造 标准 都 十 为 
了 欧 卖 的 消费 着 建立 的 ， 虽 然 适 合 他 们 的 芝 乘 习惯 ， 却 末 必 运 合 我 们 。 例 如 ， 鉴 
国内 容 气 污染 的 严峻 现实 ， 北 京 司机 每 天 开车 窗 的 次 数 很 少 ， 能 大 可 能 好 多 天 部 
不 开 一 座 。 有 有 数据 分 析 表 明 ， 壮 均 而 客 ， 一 个 司机 一 年 也 束 开 天 车 狠 1000 雇 左 厂 
(平均 一 天 3 次 ) 。 假 设 一 辆 车 的 设计 寿命 是 10 年 ， 那 么 在 车 的 整个 使 用 生命 周期 
内 ， 也 束 需 要 开关 车 窗 10000 次 。 为 了 你 针 起 见 ， 我 们 再 增加 一 个 量 级 ， 那 束 是 10 
万 钦 。 也 了 束 是 资 ， 从 设计 的 角度 ， 我 们 只 需要 一 个 能 够 承受 10 万 次 开关 竺 窗 的 电 
机 束 可 以 了 。 但 是 ， 我 们 的 实际 设计 标准 可 能 是 50 万 次 ， 这 是 一 个 多 么 巨大 的 设 
计 浪 绩 。 中 国 汽车 的 产量 有 多 大 呢 ? 以 上 海 汽车 为 例 ， 根 据 20 1 6 年 不 准确 数字 ， 
集团 整体 产量 大 概 是 600 万 辆 ! 还 有 很 多 其 他 汽车 制造 商 。 深 入 的 数据 分 析 能 够 市 
来 多 少 成 本 的 下 省 ? 


例 1-6 ”电视 视频 接口 的 调整 
有 一 次 参加 一 家 企业 的 融资 及 布 会 ， 正 马 坐 在 劳 边 的 朋友 来 目 一 家 国内 领 抑 


的 电视 机 制造 企业 ， 他 分 吾 了 一 个 非 营 有 趣 的 数据 价值 案例 。 以 前 电视 机 制造 出 
来 售 买 给 省 性 者 后 ， 制 千 丙 同 消费 者 之 间 的 关系 整 中 断 了 ， 因 此 ， 制 迁 丙 并 不 非 


























各 明确 消费 者 是 如 何 使 用 电视 机 的 。 不 过 ， 现 在 有 了 物 联 网 扩 术 ， 制 造 商 可 以 悍 
慢 地 了 解 消费 者 的 习惯 了 。 例 如 ， 他 们 发 现 某 一 款 电 视 机 的 用 户 中 ， 只 有 大 概 1 % 
的 用 户 还 在 使 用 那 种 非常 老式 的 、 梯 形 的 VGA 视 频 接 口 。 那 么 ， 只 有 这 么 少 的 用 
己 在 使 用 这 个 接口 ， 是 侍 还 需要 和 生产、 制造 、 安 疙 这 个 接口 呢 ? 基本 不 需要 。 于 
是 在 后 来 批 次 的 电视 机 生产 中 ， 这 个 接口 就 个 取消 了 。 仪 此 一 项 ， 为 企业 每 年 节 
省 的 成 本 有 多 少 ? 上 亿 元 ! 这 就 是 数据 分 析 带 来 的 价值 。 


例 1-7 电视 机 遂 控 可 有 的 改 民 


如 今 有 的 电视 机 啤 控 硕 设 计 得 十 分 复 洒 ， 按 钮 数量 蚂 多 ， 但 是 我 们 会 使 用 其 中 
的 几 个 呢 ? 能 大 自己 看 电视 ， 就 只 需要 电源 开关 ， 以 及 频 的 “十 ”和 “一 ”， 可 能 还 需 
要 一 个 普 量 键 。 其 他 的 按键 几乎 不 用 。 那 么 这 种 设计 是 不 是 见 余 的 ? 成 本 是 不 是 
可 以 节省 ? 恐 介 不 好 回答 。 因 为 制造 商 并 不 明了 能 大 这 样 的 用 户 有 多 少 ? 是 非常 
有 代表 性 ， 还 是 有 一 定 代 表 性 但 代表 性 不 强 ， 叉 或 者 完全 没有 代表 性 ? 类似 地 ， 
我 们 还 可 以 检讨 ， 电 脑 上 需要 那么 多 USB 接 口 吗 ? 或 者 是 不 够 用 ? 现在 的 台式 机 、 
笔记 本 还 需要 光驱 吗 ? 以 前 我 们 很 难 做 这 样 的 决策 ， 因 为 我 们 不 知道 用 户 如 何 使 
用 这 些 设备 。 但 是 ， 现 在 物 联 网 的 兴起 让 这 样 的 数据 分 析 正 在 变 成 现实 ， 这 就 是 
物 联 网 数据 的 商业 价值 所 在 。 我 们 期 符 物 联网 技术 进一步 成 玖 的 明天 ， 会 给 我 们 
帝 来 新 的 局 发 ， 认 来 更 好 的 设计 、 更 低 的 成 本 。 


风险 


还 有 朋友 说 ， 我 的 数据 产品 第 一 不 能 增加 收入 ， 第 二 不 能 生 接 区 省 成 本 ， 但 
挟 可 以 控制 风险 ， 这 样 的 数据 有 商业 价值 吗 ? 当然 有 。 事 实 上 ， 风 险 的 度量 有 两 
种 情况 : 第 一 种 情况 是 风险 根本 没 办 法 通过 货币 度量 ， 是 独立 于 收入 或 者 文 出 的 
有 妨 外 一 个 维度 ;第 二 种 情况 是 风险 吏 是 连接 收入 和 文 出 的 一 个 转化 项 。 对 风险 的 
把 控 ， 或 者 可 以 增加 收入 ， 或 者 可 以 降低 成 本 。 


对 第 一 种 情况 而 言 ， 风 险 可 能 是 人 的 健康 其 全 生命 。 如 果 有 任何 一 种 数据 分 
析 ， 能 够 改善 人 们 的 健康 状况 ， 长 至 可 以 的 救生 命 ， 它 的 价值 全 人 是 不 可 想象 
的 。 从 这 个 角度 看 ， 几 是 同 医 疗 、 健 康 、 生 命 保障 相关 的 数据 分 析 ， 都 是 值得 关 
注 的 。 例 如 ， 如 采 有 一 种 可 穷 戴 设备 能 够 在 无 创伤 的 情况 下 ， 测 量 各 种 血液 指标 
《如 血 糙 ) ， 这 会 为 众多 的 糖尿 病 最 者 市 来 什么 样 的 福音 ? 又 例 如 ， 通 过 对 人 次 
基因 组 的 数据 分 机， 找到 同 东 种 致命 首 钙 踢 相 关 的 基因 ， 这 能 个 改变 病人 未 来 的 
命运 ? 它 的 价值 义 如 何 ? 


除了 人 以 外 ， 乍 大 设施 设备 的 风险 恕 避 也 是 我 们 不 愿 总 承担 的 。 如 来 一 座 桥 
梁 坪 坊 ， 会 失去 多 少 生命 ?一 个 友 冉 培 友 生 故 障 ， 会 个 会 市 来 社会 的 楚 尺 ?一 个 
发 电 钢 和 炉 焊 炸 ， 会 造成 多 大 的 损失 ? 这 些 都 不 容易 通过 贰 ” 币 衡量 。 但 有 一 点 可 以 
确定 的 是 ， 这 部 是 人 们 不 愿 总 接受 的 风险 。 如 来 通过 数据 分 析 ， 时 刻 监 控 桥 梁 的 
状况 ， 及 时 维修 你 错 ， 那 桥梁 雯 塌 的 概率 束 非 党 小 。 如 下 通过 数据 分 析 ， 太 时 了 
解 肥 射 华 的 工作 状况 ， 也 许 它 每 年 的 故障 率 束 会 有 显 考 的 下 降 。 如 条 通过 探头 数 
据 ， 完 全 把 握 友 电 钢 炉 的 运行 状态 ， 束 可 以 避免 锅炉 烛 炸 的 风险 。 这 束 古 数据 分 
析 市 来 的 价值 。 


再 研究 第 二 种 情况 。 对 于 这 种 情况 而 言 ， 风 险 同 收入 和 文 出 乙 则 是 可 以 相互 
转化 的 。 例 如 ， 很 多 了 商业 银行 都 有 网 上 申请 系统 ， 允 许 用 户 通 过 互联 网 直接 申请 

















信用 卡 或 者 其 他 金融 信贷 产品 。 为 什么 要 在 网 上 做 ? 因为 流量 大 、 成 本 低 、 效 率 
高 ， 但 缺点 是 风险 比较 大 ， 而 且 有 些 通过 线 下 面 签 才能 提供 的 材料 无 法 获得 。 怎 
么 办 ? 那 融 上 只 能 提高 在 线 申 请 的 门生 ， 降 低 通 过 率 。 这 样 做 的 优 氮 是 什么 ? 安 
全 ， 把 坏人 拦 在 外 面 ， 而 缺点 是 “ 钳 杀 ”了 很 多 好 人 。 而 好 人 之 于 银行 殉 是 各 户 ， 职 
皇 收 入 。 为 什么 会 钳 杀 好 人 ? 因为 不 了 解 他 们 ， 缺 乏 信 任 ， 无 法 实现 风险 管控 。 
这 和 古 一 件 非 钟 遗 慑 的 事情 。 那 么 机 会 来 了 ， 如 末 你 能 够 为 这 家 银行 捉 贷 独 特 的 数 
据 分 析 ， 帮 助 它 更 加 准确 地 区 分 哪些 线 上 申请 者 是 好 人 ， 哪 些 是 坏人 ， 银 行 束 可 
以 放心 大 胆 地 给 更 多 的 人 人 发卡 放 贫 ， 进 而 增加 收入 。 这 样 的 数据 分 析 ， 谁 能 否认 
它 的 价值 呢 ?” 那 么 这 样 的 价值 是 如 何 实 现 的 ?主要 是 通过 把 控 风 险 提 珊 收入 。 辣 
时 ， 因 为 风险 把 控 做 得 好 ， 坏 账 京 丈 低 ， 因 此 还 市 管 了 众 收 成 本 。 这 给 我 们 的 局 
示 古 ， 对 风险 的 把 控 还 可 以 转化 为 对 文 出 的 节省。 难怪 有 从 业者 次 ， 对 于 消费 金 
融 企 业 而 言 ， 风 险 把 控 部 门 做 的 不 仅仅 是 风险 把 控 ， 同 时 还 是 市 场 ， 还 是 销售 。 
因为 风险 洛 口 的 控制 二 接 影 啊 市 场 和 销售 收入 。 这 样 的 数据 价值 是 售 清 晰 ? 所 以 
数据 商业 价值 的 第 三 个 关键 词 是 ， 风险 ! 


政府 价值 


目前 所 有 的 讨论 都 是 俩 问 企 业 的 。 这 似乎 忽略 了 数据 产业 的 万 外 一 个 “极其 重 
要 的 参与 者 : 政府 。 政 府 一 方面 制定 市 场 规则， 为 一 方面 还 掌握 看 巨大 的 数据 资 
源 〈 公 安 、 通 信 、 医 疗 等 ) ， 以 及 了 预算。 政府 的 重大 决策 也 非常 需要 数据 的 文 
持 。 那 么 ， 数 据 之 于 政府 的 价值 广 如 何 体现 呢 ? 非常 有 趣 的 是 ， 这 个 问题 似乎 也 
可 以 从 收入 、 文 出 、 风 险 三 个 要 和 又 考 夸 。 但 是 ， 面 问 的 对 象 主要 不 是 政府 目 己 ， 
哆 多 的 是 每 一 个 公民 。 通 俗 地 讲 ， 如 来 数据 分 析 能 够 帮助 政府 更 好 地 服务 社会 ， 
ARS 
全 的 价值 。 


公民 收入 


从 政府 的 角度 看 ， 哪 些 方 面 关乎 普通 公民 的 收入 昵 ?例如 ， 增 加 就 业 ， 降 低 
税 负 ， 提 高 福利 等 ， 都 同 增加 普通 公民 的 收入 相关 。 更 具体 地 说 ， 比 如 ， 通 过 对 
招聘 广告 的 文本 分 析 ， 可 以 将 察 市 场 需 求 ， 并 提供 相应 的 教育 培训 机 会 ， 束 有 可 
能 增加 就业 ， 和 宙 动 GDP 。 狗 能 会 媛 子 小 分 队 曾 经 做 过 一 个 案例 ， 通 过 对 大 量 招聘 
“ 告 的 文本 语义 分 析 ， 解 侯 市 场 对 各 种 工作 经 验 的 需求 ， 对 各 种 分 析 拉 能 的 淘 
望 ， 以 及 在 最 终 薪 柄 上 的 表达 。 通 过 数据 分 析 ， 可 以 量化 BAT 这 样 大 型 互联 网 公 
司 工作 经 验 在 薪酬 上 的 表达 ; 通过 数据 分 析 ， 可 以 理解 产品 经 理工 作 年 限 在 薪酬 
上 的 体现 ， 通 过 数据 分 析 ， 可 以 理解 数据 分 析 师 应 访 具 备 什 么 样 的 编程 技巧 〈 如 
R，python) ， 最 好 具备 什么 样 的 大 数据 计算 能 力 〈 如 Hadoop，Spark) ， 以 及 这 些 
专业 技能 在 薪酬 上 的 反映 。 通 过 诸如 此 类 的 数据 分 析 可 以 了 解 市 场 需要 什么 样 的 
数据 分 机 人 才 。 从 政府 的 角度 ， 这 样 的 信息 对 于 议 计 相关 学 科 的 发 展 规划 意义 重 
大 。 相 关 合 理 的 决 案 会 市 来 普通 公民 惑 业 率 的 增加 ， 进 而 市 来 收入 的 增加 。 


公民 又 出 


数据 分 析 能 合 帮 助 政 府 科 学 决策 ， 进 而 降低 普通 公民 的 成 本 ? 容 : 可 以 。 以 
医 你 为 例 ， 大 量 的 公共 资金 皮 集 在 一 起 ， 但 是 它 的 使 用 效率 是 个 足够 遍 呢 ? 是 合 
还 有 改进 空间 ? 是 人 盏 存在 一 定数 量 的 驴 你 行为 ? 这 是 非 利 重要 的 ， 因 为 骗 傈 行为 
损害 的 是 所 有 参与 医 你 计划 公开 的 公共 利 荔 。 骗 ”你 行为 所 市 来 的 后 来 是 公共 医疗 























成 本 不 必要 的 所 融 。 堵 么 能 人 奋 通 过 数据 分 析 将 这 些 驴 你 行为 人 目 动 识别 出 来 ， 并 
施 以 相应 的 您 神 教 育 指 施 呢 ? 再 考 碟 医院 ， 能 合 通 过 对 医院 的 各 种 收入 、 文 出 的 
数据 分 机 ， 理 解 普通 群众 看 病 贯 的 根本 诛 因 在 哪里 ? 别 贯 医疗 彝 用 所 产生 的 收入 
到 撒 去 了 哪些 地 方 ? 能 合 进行 相关 的 制度 建设 ?这 不仅 可 以 节省 群众 的 医疗 成 本 
《区 省 费用 ) ， 同 时 还 能 增加 优盘 医生 的 实际 收入 《增加 收入 ) 。 


公民 风险 


数据 分 析 能 侍 帮 助 政 府 进行 科学 决 东 ， 降 低语 通 群 众 的 风险 呢 ? 容 : 可 以 。 
任何 一 个 国家 的 政府 押 能 够 文 配 的 社会 安全 保障 资源 《如 会 安民 警 ) 是 有 限 的 。 
如 何 通过 对 有 限 的 公共 安全 资源 的 合理 利用 ， 尽 可 能 地 保障 群众 的 生命 财产 安 
全 ， 这 是 一 个 永恒 的 话题 。 例 如 ， 能 否 通过 对 各 种 公开 以 及 非 公 开 刑 侦 数据 的 合 
理 分 析 ， 蝎 加 准确 地 锁定 吸毒 人 群 ， 艺 其 是 有 重大 公共 影响 力 的 人 和 群 ， 并 实施 制 
止 教育 措施 ? 能 合 通 过 对 各 种 数据 的 综合 分 析 ， 做 到 对 念 怖 事件 的 手表 预警 ? 能 
侍 通 过 对 各 种 流量 数据 的 监控 ， 做 到 拓 前 规避 一 些 重大 公共 安全 事件 (如 躁 
路 ) ? 这 就 是 数据 分 析 之 于 政府 风险 溃 控 的 价值 。 


可 以 量化 的 参照 系 


数据 分 析 的 价值 体现 在 三 个 要 素 上 ， 但 要 实现 它 的 价值 还 需要 一 个 重要 的 因 
素 : 可 以 量化 的 参照 系 。 其 中 包 丘 两 个 关键 词 : 量化 和 参照 系 。 


90%? 你 咋 不 上 天 啊 ? 


某 天 ， 一 朋友 说 :“ 能 大 ， 我 最 近 给 客户 做 了 一 个 客户 流失 预警 模型 ，; 准 人 确 度 
75%! "我 一 听 ， 挺 徘 谱 。 但 是 ， 他 却 重 头 丧 气 地 表示 ， 对 方 老总 很 不 满意 ， 认 为 
这 个 准确 度 太 送 ， 连 90% 都 不 到 ! 能 大 心里 倒 抽 一 口 深 气 ， 心 想 : 90%， 你 咋 不 上 
天 啊 ! 大 家 是 合 能 意识 到 困惑 在 哪里 ? 客户 对 预测 精度 没有 合理 的 预期 ， 因 为 没 
有 合理 的 参照 系 。 在 没有 参照 系 的 情况 下 ， 客 户 承 只 好 参照 小 学 生 的 考试 成 绩 ， 
认为 90% 甚 至 9 9% 才 算 优 秀 ! 这 束 是 困惑 所 在 ， 那 么 应 该 怎么 做 昵 ? 应 该 给 他 树 
了 一 个 合理 的 参照 系 。 为 此 ， 我 们 可 以 先 弄 清楚 一 个 问题 : 客户 在 没有 你 的 情况 
下 ， 目 己 能 做 多 好 ? 在 你 到 来 乙 前 ， 客 户 目 己 是 否 有 流失 了 预警 得 分 ， 这 个 得 分 准 
确 上 度 如 何 ? 我 们 发 现 ， 其 实 很 多 时 候 ， 客 户 从 来 没有 评价 过 ， 目 己 根 本 不 知道 。 
你 帮 他 看 看 ， 十 有 八 九 惨不忍睹 。 这 时 候 你 可 以 这 么 说 : 某 某 总 ， 您 看 ， 之 前 咀 
们 这 边 的 精度 是 6$%， 已 经 做 得 不 错 了 “夸奖 一 下 对 方 ) 。 但 是 ， 现 在 咱们 双方 共 
同 努 力 ， 这 个 精度 提高 到 了 7 5%。 为 此 您 可 以 节省 多 少 不 必 要 的 支出 ， 或 者 增加 
多 少 和 额外 的 收入 ， 等 等 。 你 看 ， 这 样 是 不 是 束 更 有 说 服 力 ? 因 为 你 确立 了 一 个 可 
以 量化 的 参照 系 。 而 这 个 参照 系 束 是 客户 现 有 的 系统 。 如 果 没 有 这 个 参照 系 ， 又 
想 说 明 75% 的 精度 是 有 价值 的 ， 是 不 是 无 比 艰 难 ? 


有 人 句 “ 名 言 ” 预测 不 准 是 和 常态， 预测 准确 是 变态 。 什 么 意思 ? 之 所 以 做 数据 分 
析 ， 做 模型 预测 ， 束 是 因为 面 对 的 数据 是 市 有 强烈 不 确定 性 的 。 如 来 一 个 数据 可 
以 被 糊 确 预测 例如， 今年 我 30 岁 ， 明 年 一 定 31 岁 ) ， 这 样 的 数据 分 析 残 没有 价 
值 了 。 有 价值 的 数据 分 机 ， 残 是 要 在 不 确定 性 中 ， 尽 可 能 多 地 发 掘 价值 。 因 此 ， 
了 预测 不 准 必 然 羡 帅 态 。 


但 是 ， 预 测 人 不 准 〈 全 少 达 不 到 100% 完 闫 准确 )， 并 不 代表 没有 价值 。 残 像 前 












































0 可 能 是 有 巨大 价值 的 ， 但 是 需要 找到 一 个 合理 的 
会 有 照 系 。 


SWSYAN 


例 1-8 个 性 化 推荐 系统 


你 做 了 一 个 个 性 化 推荐 系统 例如 图 书 推荐 系统 ) ， 最 后 发 现 转化 率 是 8%6， 
请 问 : 价值 何在 ”如 果 同 线 下 商店 比 ，8% 的 转化 率 是 比较 低 的 。 这 意味 着 100 个 客 
户 进入 我 的 店铺 ， 只 有 8 个 人 下 单 ， 剩 下 的 9 2 个 人 都 空手 离开 。 这 是 一 个 邻 人 失望 
的 结果 。 但 是 ， 在 线 上 环境 中 ， 这 束 不 好 说 了 了。 从事 这 行 工 作 的 朋友 一 定 知 
道 ，8% 是 一 个 非常 高 的 数字 。 为 什么 ? 因为 如 果 没 有 优秀 的 个 性 化 算法 推荐 保 
障 ， 这 里 的 转化 率 可 能 是 4%，19%， 甚 至 是 0%。 有 了 这 样 一 个 合理 的 参照 系 ， 数 
据 分 析 的 价值 才能 够 充分 表达 出 来 。 


温 兢 提醒: 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 : “价值 >， 听 能 大 音频 ! 





数据 到 价值 的 转化 ;回归 分 析 的 “ 道 "与 “ 术 ， 


本 节 讨 论 的 是 如 何 把 数据 转化 为 价值 。 为 此 ， 需 要 一 个 非常 精妙 的 思想 方 
法 : 回归 分 析 。 学 过 统计 学 的 同学 都 知道 ， 回 归 分 析 是 数据 分 析 的 一 个 非常 重要 
的 模型 方法 。 这 些 模型 可 能 是 线性 的 、 非 线性 的 ， 参 数 的 、 非 参数 的 ， 一 元 的 、 
多 元 的 ， 低 维 的 、 高 维 的 ， 不 尽 相 同 。 但 这 都 是 在 “ 术 ” 的 层面 讨论 回归 分 析 ， 其 
实 ， 回 归 分 析 还 有 一 个 更 高 的 * 道 ”的 层面 。 

回归 分 析 的 “ 道 ” 

在 这 个 层面 ， 回 归 分 析 可 以 被 抽象 成 为 一 种 重要 的 思想 。 在 这 种 思想 的 指引 
下 ， 人 们 可 以 把 一 个 业务 问题 定义 成 一 个 数据 可 分 析 问 题 。 什 么 样 ”的 问题 可 以 被 


看 作 数 据 可 分 析 问 题 呢 ? 一 个 问题 是 不 是 数据 可 分 析 问 题 ， 只 需要 回答 两 点 : 第 
是 人 











Yel? 


Y， 俗 称 因 变 量 ， 即 因为 列 人 的 改变 而 改变 的 变量 。 在 实际 应 用 中 ，Y 刻 男 的 
征 业 务 的 核心 诉求 ， 是 科 笠 研究 的 关键 问题 。 


例 1-9 好 人 与 坏人 


对 于 征 信 而 言 ， 业 务 的 核心 指标 是 什么 ? 束 是 隅 壁 老 王 找 我 从 线 ， 最 后 ”他 是 
还 还 是 不 还 。 如 果 还 ， 定 义 老 王 的 Y 二 0， 这 说 明 老 王 是 好 人 ; 如 果 不 还 ， 定 义 老 
王 的 Y 三 1， 这 说 明 老 王 是 坏人 。 这 了 网 是 征 信 的 核心 业务 诉求 ， 即 因 变 量 了 上。 在 这 
种 情况 下 ， 因 变量 是 一 个 取 值 为 0-1 的 变量 ， 俗 称 0-1 变 量 。 





例 1-10 ”天 使 与 杀手 


对 于 车 险 而 言 ， 业 务 的 核心 指标 束 是 是 否 出 险 。 隔 壁 老 王 买 了 我 家 和 车险 ， 接 
下 来 12 个 月 ， 他 是 否 会 出 险 昵 ? 如 果 他 出 险 ， 定 义 老 王 的 Y=1， 这 说 明 老 王 是 个 
蕊 路 杀手 ; 如 果 他 不 出 险 ， 定 义 老 王 的 Y=0， 这 说 明和 老 王 是 个 天 使 。 这 种 情况 
下 ， 因 变量 Y 义 是 一 个 取 值 为 0-1 的 因 变 量 。 加 入 会 员 做 信 whair004 





例 1-11 两 个 坏蛋 


对 于 车 险 而 言 ， 还 有 一 个 核心 的 业务 指标 ， 束 是 赔付 金额 。 也 就 是 说 ， 一 旦 
出 险 ， 保 险 公 司 到 底 要 赔 多 少 。 例 如 ， 老 王 、 老 李 都 买 了 我 家 和 车险， 结果 这 两 个 
客户 都 出 险 了 。 老 王 属 于 轻微 刮 踏 ， 保 险 公 司 赔 付 600 元 。 那 么 ， 对 于 赔付 金额 这 
个 业务 指标 而 言 ， 老 王 的 因 变量 Y 二 600 (元 )。 老 李 在 高 速 公 路 上 出 了 一 次 大 车 
锣 ， 人 和 车 都 伤 得 不 轻 ， 保 险 公 司 赔付 60000 元 。 那 么 ， 老 李 的 因 变 量 Y = 
60000〔 元 )。 这 种 情况 下 的 因 变 量 ， 即 赔付 人 金额， 是 一 个 连续 的 取 值 为 正 的 因 变 
量 。 如 果 再 取 一 个 对 数 ， 那 么 束 是 一 个 取 值 可 以 是 正 旬 无 穷 的 、 连 续 的 因 变 量 。 





例 1-12” 谁 是 倒霉 皇 ” 


人 关 医 学 的 一 个 重要 使 命 融 是 攻克 效 钙 ， 为 此 ， 科 学 家 需要 理解 不 同 次 型 交 
证 的 形成 机 制 。 隔 壁 老 王 ， 还 有 马路 对 面 的 老 池 ， 平 时 看 起 来 吴 体 都 僧 儿 棒 ， 吃 
曙 呆 香 。 可 是 ， 老 王 得 了 未 种 癌症， 而 老 李 没有 。 对 于 这 个 问题 ， 老 王 的 因 变 量 Y 
二 1， 表 示 老 王 是 个 倒 每 焦 ， 而 老 李 的 因 变 量 Y 二 0， 表 示 老 孚 个 是 倒 毒 和 集 。 因 此 ， 
这 义 是 一 个 取 值 为 0-1 的 变量 。 


结论 : Y 融 是 实 际 业务 的 核心 诉求 ， 或 者 科学 研 客 的 关键 问题 。 








XN 


X 束 十 用 来 解释 Y 的 相关 变量 ， 可 以 是 一 个 ， 也 可 以 是 很 多 个 。 我 们 通 第 把 X 
称 作 解 释 性 变量 。 回 归 分 析 的 任务 束 是 ， 通 过 研究 X 和 Y 的 相关 关系 ， 空 试 去 解释 
Y 了 的 形成 机 制 ， 进 而 达到 通过 X 去 预测 Y 的 目的 。 那 么 ，X 人 到 压 是 什么 样 的 ? 


对 于 征 信 而 言 ， 我 们 已 经 讨论 了 ，Y 二 0 或 者 1， 表 示 隔 壁 老 王 是 否 还 钱 ， 这 是 
业务 的 核心 指标 。 当 老 王 找 我 信 钱 的 那个 时 刻 ， 我 并 不 知道 老 王 将 来 是 侣 会 还 
钱 ， 也 惑 是 说 ， 我 不 知道 老 王 的 Y。 怎 么 人 办? 我 只 能 通过 当时 能 够 看 得 到 的 ， 关 于 
老 王 的 X， 去 预测 老 王 的 Y。 这 种 预 训 是 个 会 100% 准 确 呢 ? 答 : 基本 不 可 能 。 但 
人 
JX。 


例 1-13” 老 王 的 实物 资产 





假设 老 王 想 找 我 从 1 万 元 现金 ， 我 得 想 想 ， 他 会 还 吗 ? 此 时 ， 如 下 知道 他 家 志 
寅 裕 ， 房 产 价值 儿 千 万 元 ， 我 就 不 会 担心 他 不 还 钱 。 因 为 如 果 他 不 还 钱 ， 可 以 用 
他 的 房子 进行 抵押 。 这 说 明 充 足 的 实物 资产 ， 苑 其 是 可 以 ”抵押 的 实物 资产 ， 是 有 
可 能 极 大 地 影响 一 个 人 的 还 钱 行 为 电 。 如 末 这 个 业务 分 析 是 正确 鸭 ， 那 么 可 以 定 
义 很 多 X， 用 于 拉 述 老 王 的 财产 情况 。 例 如 ，Xi 表示 是 合 有 房 ; X 表示 是 合 有 
车 ; X3 ”表示 是 人 盏 有 于 金 站 饰 可 以 抵押 ， 等 每 。 这些 X 痢 是 围绕 老 王 的 实物 资产 设 
定 的 。 


例 1-14 老 王 的 收入 


除了 实物 资产 ， 老 王 偿 有 哪些 特征 有 可 能 影响 他 的 还 钱 行 为 呢 ? 如 宁 老 王 月 
工资 收入 10 万 元 ， 那 么 还 于 1 万 元 ， 不 是 小 荣 一 供 吗 ? 相反 ， 如 末 老 王 月 工资 收入 
1000 元 ， 售 计 号 饭 都 有 问题 ， 哪 来 的 钱 还 呢 ? 这 说 明 老 王 的 收入 可 能 同 他 的 还 亚 
行为 有 相关 关系 。 那 么 ， 和 是 合 可 以 构造 一 系列 的 X， 用 于 拍 述 老 王 的 收入 情况 呢 ? 
例如 ， 可 以 重新 定义 XI 是 老 王 的 工资 收入 ; X。 是 老 王 的 股票 收入 ; X3 古老 王 太 
太 的 收入 ， 等 等 。 于 是 ， 村 又 的 业务 下 先 义 引导 产生 了 一 系列 狐 的 X 变 量 ， 它 们 痢 
是 围绕 老 王 的 收入 设 定 的 。 


例 1-15 老 王 的 社交 资产 


除了 实物 资产 、 收 入 ， 老 王 还 有 什么 值钱 的 呢 ? 有 ， 老 王 有 目 己 在 什 交 财 中 
的 碍 严 。 驶 像 电影 《 老 炮 儿 》 蛙 面 的 项 主 六 和 爷 那样 ， 面 子 老大 了 ， 不 会 为 了 万 把 
块 钱 去 赖账 ， 然 后 让 街坊 邻 大 、 同 事 朋友 部 笑话 ， 于 个 起 那 人 。 如 下 老 王 是 一 个 
这 样 的 人 ， 那 他 的 还 球 思 愿 会 很 强烈 。 这 个 村 了 双 的 业务 直觉 说 明 ， 一 个 人 的 社交 
闭 即 他 的 社区 资产 是 可 以 影响 他 的 还 于 行为 的 。 如 来 这 个 且 狗 是 对 的 ， 夺 么 哪些 
指标 能 刻 男 一 个 人 的 社交 资产 呢 ? 例如 ， 定 义 XI 古老 王 的 短信 好 友 数 量 ; Xs 是 他 
的 微 博 好 到 数量 ; X3 ”是 他 的 电话 本 上 的 好 友 数 量 ; X4 “是 他 的 QQ 好 友 数 量 ， 等 
等 。 义 可 以 生成 一 系列 新 的 X 变 量 ， 它 们 都 是 围 纸 老 王 的 社交 资产 议定 的 。 


由 此 可 以 看 出 ， 对 于 征 信 这 个 业务 问题 而 言 ， 人 简单 地 进行 头脑 风暴 ，” 台 产 生 
了 许多 X 变 量 。 所 以 ， 依 赖 于 人 们 的 想象 力 以 及 数据 采集 能 力 ， 可 以 产生 成 和 上 
万 ， 甚 至 上 百 万 、 上 千 万 个 X 变 量 。 有 了 X， 也 就 有 了 Y。 至 此 ， 回 归 分 析 “ 道 ”的 
使 命 已 经 完成 ， 因 为 一 个 业务 问题 已 经 被 定义 成 数据 可 分 析 问 题 。 


回归 分 析 的 “本 ” 


接 下 来 ， 从 “ 术 ” 的 层面 探讨 ， 回 归 分 析 还 要 完成 什么 使 俞 。 一 般 而 言 ， 全 少 对 
于 参数 化 的 线性 回归 模型 来 说 ， 它 要 完成 三 个 重要 的 使 命 。 


使 命 1: 回归 分 析 要 去 识 列 并 判断 ， 哪 些 x 变 量 是 同 Y 丰 的 相关 ， 哪 些 不 是 。 
而 那些 不 相关 的 X 变 量 会 被 抛 借 ， 不 会 被 纳入 最 后 的 预测 模型 。 因 为 不 干 活 的 人 多 
了 会 捣 重 ， 即 没有 用 的 X 个 会 提高 Y 的 预测 精度 ， 而 且 会 狠 狠 地 换 合 ， 拉 后 腿 ， 所 
以 必须 抛 痉 。 关 于 这 方面 的 统计 学 论述 很 多 ， 以 全 于 统计 学 中 有 一 个 非 芝 重要 的 
领域 ， 叫 做 “变量 选 撞 ”。 


使 命 2， 有 用 的 X 变 量 同 Y 的 相关 关系 是 正 的 还 是 负 的 。 也 束 是 说 ， 要 把 一 个 
大 概 的 方 回 判断 出 来 。 例 如 ， 对 于 老 王 的 信 贫 还 球 行 为 而 言 ， 老 王 的 股票 收入 同 
他 的 还 区 行为 可 能 性 是 正 相 关 ， 还 是 负 相关 ? 如 下 古 正 相 关 ， 堵 么 老 王 的 股票 收 
入 越 品 ， 还 球 能 力 越 噶 ， 我 越 天 值钱 给 他 ; 如 条 是 负 相 关 ， 那 么 老 王 的 股票 收入 
越 蜗 ， 说 明 他 赌 性 越 大 ， 我 越 不 敢 倡 钱 给 他 。 


使 命 3: 赋予 不 同 X 不 同 的 权重 ， 也 就 是 不 同 的 回归 系数 ， 进 而 可 以 知道 不 同 
变量 之 间 的 相对 重要 性 。 例如 ， 老 王 、 老 李 都 找 我 借 钱 。 老 王 每 月 基本 工资 X| = 
1 〈 万 元 ) ， 但 是 股票 收入 X， 三 0。 老 李 恰 恰 相 反 ， 没 有 基本 工资 ， 因 此 Xi，= 三 0， 
但 是 每 个 月 股票 收入 X, 二 1 万 元 )。 请问 哪 一 个 还 球 能 力 更 强 ? 请 注意 ， 他 们 的 

















月 总 收入 者 是 1 万 元 。 但 他 们 的 还 于 能 力 辑 但 是 不 同 的 。 些 时 ， 如 末 我 们 能 够 通过 
数据 建 便 ， 赋 子 Xi 和 X, 不 同 的 权重 ， 也 束 古 人 不同 的 回归 系数 ， 这 个 问题 束 容 易 回 
答 汪 。 

这 束 是 回归 分 析 要 完成 的 三 个 使 命 ， 识 列 重 要 变量 ; 判断 相关 性 的 方 同 ; 估 
计 权 重 回归 系数 〉。 

简单 总 结 一 下 。 人 什么 是 回归 分 析 ? 从 “ 道 ” 的 层面 而 言 ， 回 归 分 析 惑 是 一 种 把 业 
务 问题 定义 成 一 个 数据 可 分 析 问 题 的 重要 思想 。 而 从 “ 术 ” 的 层面 ， 回 归 分 析 要 完成 


三 个 重要 的 使 命 。 





温 避 提醒 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文学 :“ 回 归 ”， 听 能 大 音频 ! 


吝 \ 主 记 ” 请 下 让 
搞 请 各 户 需 





在 数据 分 析 的 业务 实践 中 ， 客 尸 的 需求 第 第 说 不消。 谁 是 我 们 的 客户 ?数据 
分 析 和 需求 是 谁 所 出 来 的 ， 谁 就 是 我 们 的 各 尸 。 有 可 能 是 正 儿 八 经 的 乙方 ， 也 有 可 
能 古 个 同 的 业务 部 门 。 可 古 ， 为 什么 客户 目 己 的 需求 还 说 个 消 楚 呢 ? 


当然 了 ， 也 不 能 说 得 太 绝对 ， 有 的 客户 确实 可 以 把 自己 的 需求 说 得 非常 清 
楚 。 但 是 这 样 的 客户 特别 少 ， 大 多 数 客户 是 说 不 清楚 自己 的 需求 的 。 


例 1-16 ”都 不 是 我 要 的 


有 一 大 ， 熊 大 去 一 个 遇 大 上 的 商场 给 太太 严 结 婚 周 年 礼物 。 我 在 一 个 肯 饰 柜 
台 前 远 挑 右 选 ， 没 有 特别 满意 的 ， 很 难 下 定 次 心 。 最 后 把 服务 员 给 整 烦 了 ， 瞪 看 
眼睛， 气势 泣 江 地 问 我 :“ 你 到 压 要 天 哈 ? ” 


我 先是 一 乙 。 守 我 反应 过 来 ， 瑟 上 给 这 位 她 女 上 了 一 笃 免 爱 的 MBA 诛 程 。 我 
说 :“ 妨 女 ， 我 是 客户 ， 我 不 知道 我 要 买 喧 。 但 是 ， 我 知道 ， 摊 在 我 面 机 的 这 齿 东 
下 部 个 是 我 要 的 。” 这 束 是 一 个 典型 的 “客户 目 己 说 不 清和 需求 ”的 故事 。 


例 1-17 ”多才 知 道 的 “客户 价值 ” 


能 大 跟 一 家 于 上 合作 ， 带 助 对 方 理解 : 他 们 的 客户 ， 也 束 是 汽车 购买 ”者 的 客 
性 价值。 做 这 个 事 是 因为 如 打车 三 可 以 知 志 哪个 客户 价值 蜗 ， 束 可 以 投入 更 多 的 
资源 来 重点 培 弈 和 维系 这 个 备 户 ; 哪个 客户 价值 低 ， 也 许可 以 暂时 不 子 考 虑 。 


但 问题 是 : 什么 是 汽车 广 商 脑袋 里 的 “客户 价值 ”? 能 大 不 懂 车 ， 只 能 同 对 方 请 
教 。 车 三 领导 说 :“ 熊 大， 这 还 不 简单 ， 价 值 束 是 给 我 创造 的 收入 。” 这 人 徐 单 ! 咀 统 
计 一 下 ， 张 三 李 四 王 二 麻子 ， 每 个 客户 过 去 一 年 页 献 了 多 少 收 入 、 买 了 多 少 车 、 
去 了 多 少 次 4$ 店 ， 等 等 ， 用 Exce] 吏 搞定 了 ! 


结果 ， 对 方 说 :“ 这 怎么 行 ! 我 们 的 经 验 是 ， 同 样 是 (比方 说 ) 一 万 元 的 收 
0 SR ES 
值 定 不 一 样 的 ! ” 


听 完 我 束 军 了 ， 完 全 个 恒 祁 是 一 万 元 ， 都 是 人 民 币 ， 怎 么 会 不 一 样 
呢 ? 是 因为 利润 不 一 样 吗 ? 对 方 说 还 不 完全 是 。 看 到 我 的 困惑 ， 对 方 义 说 :“ 同 样 
是 一 万 元 ， 买 车 险 的 价值 可 能 束 要 蜗 一 些 。 因 为 他 一 旦 在 我 们 这 里 购买 和 车险， 未 
来 他 的 维修 傈 养 很 可 能 也 用 生 在 我 的 4S 店 里 。” 


这 人 句 话 真是 醒 酮 洪 顶 啊 ， 购 买 保险 的 价值 高 ， 是 因为 它 未 来 能 够 产生 更 多 的 
了 预期 收益 。 这 说 明 在 我 这 位 伙伴 的 心目 中 ， 价 值 ， 不 是 已 经 实现 的 过 去 价值 〈 那 
已经 发 生 了 ) ， 而 是 还 没有 发 生 的 未 来 的 预期 价值 。 

例 1-18 跟 收 入 过 不 去 


能 大 有 一 伙伴 ， 和 是 经 营 连 锁 酒 店 鸭 。 我 们 妥 现 ， 他 的 定价 这 略 有 很 大 的 改进 
空间 。 人 位 单 地 说 就 是 :旺季 不 涨 价 ， 淡 季 不 降价 。 而 我 们 的 分 析 双 发现， 可 以 用 


























当天 的 数据 ， 对 第 二 天 的 各 流量 做 一 个 相当 不 铺 的 预测 。 那 是 不 是 可 以 根据 预 训 
结果 做 每 日 的 动态 价格 调整 呢 ? 这 么 做 会 市 来 立刻 的 收入 的 增加 吗 ? 


结 末 ， 等 我 们 跟 对 方 汇报 这 个 结 琳 的 时 候 ， 对 方 却 是 一 吻 党 水， 说 :“ 能 大 ， 
革 吉 了 ， 但 这 不 旦 我 想 要 的 ， 我 对 这 人 不感 兴趣 。” 


我 当时 超级 困惑 ， 第 一 次 听 说 有 企业 会 跟 上 自己 的 收入 过 不 去 。 我 正在 疑惑 
时 ， 人 家 说 了 :“ 熊 大， 我 这 个 连锁 店 ， 绝 大 多 数 都 不 是 直 营 店 ， 而 是 加 盟 店 ， 我 
的 收入 主要 来 源 于 这 些 加 盟 店 的 加 盟 费 ， 全 于 这 些 加 盟 店 收入 有 多 少 ， 跟 我 关系 
不 大 ， 或 者 至 少 不 是 我 最 关心 的 事 ， 而 且 我 们 总 店 跟 加 盟 店 ， 还 有 一 定 的 合作 和 
博 奔 在 里 面 ， 我 还 不 能 保证 这 些 数据 是 准确 的 。” 


我 这 才 明 日 过 来 要 理解 数据 之 于 客 尸 的 价值 ， 得 上 有 和 完 拘 消 苞 客 性 的 仍 
利 模式 。 这 似乎 是 一 个 非 第 显然 的 第 识 ， 但 之 前 我 们 是 大 不 知道 ! 


例 1-19 ”我 提 不 出 需求 


有 一 次 参观 一 家 世界 500 强 的 制造 企业 ， 对 方 意识 到 ， 数 据 之 于 企业 非常 重 
要 。 因 此 ， 集 团 符 总 成 六 了 大 数据 部 门 ， 购 洋 了 儿 百 台 融 性 能 服务 如 ， 并 配备 所 
有 和 需要 的 存储 、 软 便 件 环境 ， 以 及 人 才 。 然 后 ， 数 据 部 门 的 老大 非常 骄 做 地 介绍 
他 们 这 个 部 门 计算 机 有 多 牛 ， 做 了 哪些 有 趣 的 分 析 。 但 是 ， 从 能 大 的 角度 看 ， 这 
些 分 析 必 是 趣味 性 很 大 ， 可 没有 村 又 的 业务 价 从 。 人 能 大 终于 双 不 住 问 了 一 个 问 
是:“ 请 问 ， 咀 们 大 数据 部 门 ， 在 集团 内 部 主要 文 持 哪些 业务 部 门 ? ”对方 腰 板 一 
挺 ， 大 声 回答 :“ 所 有 业务 部 门 ! ”大 家 党 得 可 信和 吗 ? 反正 我 不 信 。 企 业 这 么 大 ， 实 
话 实 说 ， 一 定 有 大 量 的 其 全 大 多 数 业 务 部 门 同 数据 无 天 ， 全 少 现在 是 这 样 。 束 在 
这 时 ， 劳 边 的 一 个 业务 部 门 的 老大 仍 不 住 了 ， 说 :“ 不 对 啊 ， 我 们 惑 贫 得 你 们 对 我 
们 文 持 不 够 ! 没什么 文 持 啊 ! ”数据 部 门 老大 很 生气 :“ 你 提 责 求 啊 ! 只 要 你 拓 需 
求 ， 我 都 能 融 你 摘 定 。” 结 朱 业 务 部 门 老大 一 脸 迟 较 :“ 我 所 不 出 需求 啊 。” 


这 和 古 一 个 非常 典型 的 问题 。 业 务 部 门 丈 是 数据 部 门 的 和 客户， 可 是 ， 和 客户 只 知 
违 目 己 需要 数据 分 析 文 持 ， 但 是 提 不 出 需求 。 为 什么 ? 大 家 还 记得 回归 分 析 的 理 
念 吗 ? 即 从 道 的 层面 带 助 我 们 把 业务 问题 定义 为 数据 可 分 析 问 题 。 而 业务 部 门 的 
绝 大 多 数 人 员 没 有 受过 这 样 的 训练 ， 因 此 ， 无 法 调 匈 目 己 正在 操心 的 业务 问题 ， 
其 实 是 数据 可 分 析 的 。 为 此 ， 他 只 需要 把 Y 定义 清楚 ， 给 一 些 关 于 X 的 想法 ， 剩 下 
的 事情 ， 数 据 分 析 的 小 伙伴 们 残 可 以 全 力 以 赴 了 。 

所 以 ， 从 这 个 角度 看 ， 数 据 之 于 企业 的 价值 ， 最 需要 科普 及 教育 的 ， 不 是 效 
据 分 析 部 门 ， 而 十 业 务 部 门 。 当 然 ， 数 据 分 析 部 门 也 需要 。 只 有 全 员 部 具备 村 么 
的 数据 价值 观 ， 避 使 用 同一 种 回归 分 析 的 语言 ， 知 求 才 有 可 能 被 说 消 楚 。 


温 世 提醒 : ”进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 客 户 需 求 "” 听 能 大 音 

















中 国 数据 科学 的 风口 


作为 本 章 的 最 后 一 人 阅 ， 想 跟 大 家 一 起 分 皖 一 下 能 大 关于 数据 科学 肥 展 风口 的 
思 故 。 这 里 主要 涉及 相关 的 制度 环境 和 产业 基础 。 损 清楚 这 些 问 题 ， 对 于 把 握 数 
据 科 学 的 发 展 趋 势 也 许 会 有 所 帮助 。 上 其 体 而 言 ， 和 存在 这 样 几 个 问题 ， 中 国 统计 竺 
未 来 用 展 的 大 方 癌 是 什么 ? 育 后 的 旬 辑 是 什么 ? 套用 一 句 时 散 的 互联 网 语言 束 
征 : 中 国 数据 科学 的 风口 在 哪里 ? 





推动 统计 学 肥 展 的 产业 


人 们 御 六 : 以 史 为 鉴 。 所 以 ， 表 爷 和 傈 单 回顾 一 下 菏 蔡 统计 笠 领 域 的 发 展 史 ， 
例如 实验 设计 。 当 年 ， 这 个 领域 是 如 何 发 展 起 来 的 ? 难道 是 少数 天 才学 者 的 智力 
浙 戏 吗 ? 显然 不 是 ， 十 出 于 农业 生产 的 需要 ， 相 关 科 学 实验 是 最 根本 的 驱动 力 。 


随后 ， 工 业 化 的 进程 又 催生 了 质量 控制 、 可 车 性 等 相关 和 学科。 而 过 去 这 十 年 
挟 计 算 机 实验 。 那 么 来 来 呢 ? 我 力 一 定 是 互联 网 。 这 说 明 什 么 ? 这 说 明 统 计 竺 的 
及 展 要 顺应 产业 变 于 ， 这 是 大 势 所 趋 ! 


推动 统计 和 学友 展 的 技术 


再 看 一 个 例子 ， 高 维 数据 分 析 是 最 近 2 0 年 才 被 提出 来 的 吗 ? 不 是 ! 早 在 这 之 
前 ， 束 有 学 者 受 个 人 学 术 兴 趣 的 张 动 ， 提 出 过 类 似 的 问题 ， 但 没有 形成 气候 。 因 
为 这 样 的 方法 在 当时 没什么 重要 的 实际 应 用 ， 当 时 主流 统计 学 研究 并 不 关心 这 个 


问题 。 


这 个 当年 让 人 脑 洞 大 开 的 异类 问题 ， 却 成 了 最 近 2 0 年 的 研究 主流 。 因 为 科学 
技术 变 了 。 以 DNA Microarray 为 代表 的 生物 技术 的 巨大 进步 ， 产 生 了 大 量 这 样 的 数 


据 。 而 这 些 数 据 续 疾 有 大竹 人 半生 命 健康 的 秘密 ， 有 具有 重要 的 科学 价值 。 这 成 束 
人 
是 ! 


推动 统计 学 发 展 的 制度 环境 


最 后 一 个 例子 。 为 什么 制药 统计 学 在 美国 那么 重要 ? 因为 在 类 国生 物 制药 这 
个 产业 极其 中 大 。 寺 元 、 强 生 、 施 贯 宝 等 制药 巨头 每 年 要 实施 大 量 的 临床 试 验 ， 
产生 了 大 量 的 数据 ， 形 成 了 海量 的 分 析 需 求 ， 进 而 推动 了 制药 统计 笠 的 发 展 。 为 
什么 这 些 巨 头 愿 意 投 入 巨大 的 时 间 、 财 力 、 物 力作 临床 试验 ? 是 它们 对 科研 的 好 
奇 心 ， 还 是 道德 上 的 高 沿 ? 可 能 都 有 一 些 ， 但 ”都 不 是 最 根本 的 。 最 根本 的 是 美国 
食品 药品 监督 管理 局 CFDA) 对 市 场 的 强力 监 知 。 这 个 制度 环 昔 过 使 相关 企业 必须 
实施 严格 的 临床 试验 ， 进 而 产生 了 强劲 的 统计 分 析 需 求 。 而 制药 统计 竺 的 肥 展 义 
极 大 地 促进 了 相关 领域 ， 例 如 生物 统计 学 的 妥 展 。 这 说 明 统 计 和 学 的 上 发展 需要 一 定 
的 制度 环境 ， 这 是 大 势 所 趋 ! 








Or 





罗技 术 进 步 





重工 业 化 进程 


图 1-6 
统计 学 发 展 的 大 势 上 所 趋 


我 们 不 妨 下 一 个 结论 : 统计 学 的 大 势 所 趋 ， 从 不 以 任何 个 人 的 兴趣 爱好 为 转 
移 ， 而 是 由 产业 变 章 《例如 工业 化 进程 》、 技 术 进 步 (例如 DNA Microarray) ， 以 
及 制度 环 垃 〈 例 如 FDA 政 傈 ) 所 决定 的 。 这 一 点 ， 我 认为 一 定 要 看 清楚 ! 雷 革 说， 
站 在 风口 ， 猪 都 能 飞 ! 其 实 这 说 的 束 是 ， 香 大 选择 要 顺势 而 为 。 背 后 隐 舍 有 的 为 一 
个 结论 是 ， 如 果 逆 风 而 动 ， 订 也 发 不 起 来 。 这 是 我 个 人 看 竺 中 国 统计 笠 发 展 方 回 
的 基本 网 辑 。 那 么 ， 在 中 国 这 请 土 地 上 ， 面 对 当下 的 产业 基础 、 政 条 环境 ， 我 们 
的 大 势 在 哪里 ?统计 学 的 风口 在 哪里 ? 要 当 改 起 来 的 猪 ， 还 是 被 打 趴 下 的 帮 ， 或 
者 最 好 是 顺势 而 为 的 魔 ? 


生物 统计 学 在 中 国 


要 讨论 这 个 话题 ， 需 要 检讨 一 下 中 国 的 现状 。 中 国有 强大 的 制药 产业 吗 ? 未 
来 会 有 。 但 不 是 今天 ， 不 是 明天 ， 不 是 我 们 可 上 网 的 未 来 5 一 10 年 。 因 为 我 们 缺乏 强 
有 力 的 制度 环境 。 更 加 共 体 地 说 ， 我 们 身 乏 突 似 FDA 的 蝇 力 监管 机 构 。 国 家 食品 区 
品 监 督 管理 总 局 已 经 做 了 很 多 有 意义 的 工作 ， 但 是 显然 还 不 够 ， 看 看 大 家 对 食品 
安全 的 焦 寿 不明 白 了 。 在 此 请 允许 我 做 一 个 严 观 的 预测 ， 在 中 国 ， 未 来 可 匈 的 相 
当 长 时 间 内 ， 同 制药 相关 的 统计 学 将 会 是 一 个 重要 的 存在 ， 但 不 可 能 大 放 开 彩 。 
因为 没有 相应 的 制度 环 将 。 


不 过 ， 这 并 不 代表 生物 统计 学 束 没 有 希望。 恰恰 相反 ， 我 认为 生物 统计 学 大 
有 作为 。 但 是 ， 可 能 不 在 制药 这 块 ， 而 古 在 医学 研究 上 。 因 为 中 国医 院 多 ， 病 人 
多 ， 病 例 多 。 这 是 极其 宇 贯 的 数据 资料 积累 ， 能 够 支撑 很 多 深刻 的 研究 。 为 外 ， 
生物 统计 季 也 有 可 能 在 健康 经 济 学 方面 大 放 弄 彩 。 因 为 中 国 的 医 你 制度 残 古 最 值 
得 研究 的 系 材 。 每 年 如 此 巳 大 的 经 寅 ， 虱 化 a 到 哪里 去 了 ? 效 末 如 何 ? 未 来 如 何 改 
进 ? 这 些 痢 是 非常 有 意义 的 实际 问题 。 








图 1-7 


风口 所 在 


此 外 ， 中 国 还 有 哪些 产业 在 全 球 范 围 内 是 有 竞争 力 的 呢 ? 第 一 ， 互 联网 ， 第 
二 ， 人 制造 业 。 互 联网 方面 ， 中 国有 以 BAT 为 代表 的 一 大 批 有 竞争 力 的 企业 ， 而 制 
造 业 方 面 ， 中 国 是 世界 的 中 心 ， 孕 育 了 像 华 为 这 样 伟 大 而 优秀 的 企业 。 这 两 个 行 
业 ， 有 可 能 会 形成 风口 ， 或 者 正在 形成 。 这 两 个 行业 就 是 统计 学 研究 的 大 势 所 
趋 ， 风 口 所 在 ! 


互联 网 


自 完 讨论 互联 网 ， 尤 其 是 移动 互联 网 。 先 来 思考 以 下 问题 :移动 互联 网 产生 
了 什么 独特 数据 ? 它们 的 价值 是 什么 ? 应 该 如 何 研 究 ? 要 回答 这 些 问 题 ， 看 看 目 
己 最 利用 的 APP 融 知 赴 答案 了 。 国 内 最 钟 用 的 是 微 信 ， 国 外 最 钊 用 的 十 脸 书 和 推 
符 。 它 们 全 部 部 是 基于 社交 的 软件 或 者 服务 ， 产 生 的 数据 古 网 络 结构 数据 ， 刻 加 
本 用 性 之 间 的 社交 关系 。 对 于 统计 分 析 ， 这 市 来 的 最 根本 的 变化 束 古 让 信息 沿 春 
网 络 结构 开始 流通 。 通 俗 地 讲 ， 以 前 我 们 判断 一 个 人 是 好 人 还 十 坏人 【〔 因 变 
量 ) ， 主 要 参考 他 目 己 的 特征 《解释 性 变量 ) 。 但 古 ， 有 了 J 了 网络 结构 ， 与 之 相连 
个 体 的 所 有 信息 《〈《 既 包括 因 变 量 ， 也 包括 解释 性 变量 ) ， 部 可 以 加 以 利用 ， 所 局 
预测 狂 度 。 但 是 ， 能 够 符合 该 理念 、 满 足 该 青 求 的 统计 和 学 模 型 却 少 之 又 少 。 这 束 
挟 网 络 数据 赋予 统计 笠 发 展 的 重大 机 会 ， 这 融 是 风口 所 在 ! 


制造 业 与 物 联 网 


再 来 讨论 制造 业 。 制 造 业 有 以 下 特点 : 第 一 ， 中 国 是 全 世界 的 制造 中 心 ， 但 
征 吗 行 产 业 升 级 ， 进 入 工业 4 . 0 时 代 ; 第 二 ， 与 世界 制造 中 心 相对 应 的 是 ， 对 中 
国 制造 业 的 数据 ， 我 们 却 极其 无 知 ， 远 和 远 落 后 于 互联 网 。 产 生 这 个 现象 ， 有 两 个 
原因 : 肯 先 是 传统 制造 业 的 数据 采集 困难 ， 不 如 互联 网 方便 ， 其 次 是 互联 网 的 故 
事 太 抢 限 ， 让 我 们 还 记 了 传统 产业 。 但 是 ， 我 ”个 人 感受 到 的 传统 行业 ， 无 其 是 制 
造 业 ， 却 瘟 势 竺 及 。 请 看 两 个 基本 事实 : (1) 物 联网 撤 术 越 来 越 成 熟 ， 相 应 的 数 
据 米 集 越 来 越 廊 便 。 一 个 典型 的 柔 例 束 古 和 车 联网 。 考 庸 萤 疑 ， 未 来 的 汽车 一 定 被 
成 百 上 干 个 各 种 各 样 的 探测 嚣 包围。 这些 探 测 占 会 准确 记录 汽车 行驶 的 方 方 面 
面 ， 例 如 胎 压 、 发 动机 温度 、 地 理 人 位置、 行驶 方 向、 行驶 速度 、 加 速度 、 角 速度 
等 ， 这 就 构成 了 统计 分 析 的 数据 基础 。 (2) 传统 制造 业 体 量 巨大 ， 一 个 汽车 广 商 
年 产 汽车 日 万 辆 ， 一 个 家 电 企业 年 产 电 视 机 和 二 万 侣 。 因 此 ， 如 果 效 据 分 析 能 够 产 
生 任 何 有 共 的 改进 方案 ， 市 来 的 价值 都 是 巨大 的 ， 很 可 能 远 还 大于 数据 分 析 《〈 例 
如 精准 营销 ) 之 于 互联 网 的 价值 。 


由 此 可 见 ， 对 于 传统 制造 业 ， 数 据 分 析 很 可 能 不 以 消费 者 为 第 一 核心 ， 而 是 
以 流程 再 造 、 产 品 改 进 、 成 本 和 省 为 第 一 核心 。 这 点 跟 互 联网 行业 很 不 一 样 。 而 
这 一 切 都 是 以 物 联 网 的 大 规模 、 低 成 本 的 实施 为 前 提 。 因 此 ， 物 联网 将 是 男 一 个 
风口 所 在 ! 

















@ 速度 ` 加 速度 . 角速度 





风口 所 在 ， 想 个 飞 孝 难 ! 


基于 以 上 讨论 ， 作 为 统计 工作 者 应 该 如 何 应 对 呢 ? 需要 以 一 种 非常 说 皇 开 放 
的 心态 ， 去 学 习 业 务 知识 ， 了 解 应 用 场景 ， 实 践 统计 学 理论 。 这 方面 可 供 我 们 实 
践 的 沃土 太 丰 富 了 。 它 们 包括 但 不 局 限于 ， 游 戏 、 电 商 、 社 交 、 广 告 、 投 资 、 金 
融 、 征 信 、 可 穿戴 设备 、 车 联网 、 设 备 监 控 、 政 府 、 医 疗 等 。 过 去 的 历史 已 经 很 
潭 站 地 说 明 ， 统 计 学 的 发 展 一 定 要 啤 势 而 为 ， 要 服 应 产业 变革 、 技 术 进步 以 及 和 
度 环境 ， 


在 中 国 ， 医 疗 健康 、 互 联网 和 物 联网 就 是 大 势 所 趋 ， 就 是 风口 所 在 。 统 计 学 
从 这 里 出 发 ， 想 不 飞 都 难 ! 


吕 豆 提醒 : 进入 狗 能 会 公众 写 (CluBear) 输入 文字 : “风口 ”， 看 原文 ! 





第 二 草 / Chapter TWwo 数 据 可 视 化 


最 基础 的 数据 可 视 化 方法 束 是 统计 图 。 一 个 好 的 统计 图 应 该 满足 四 个 标准 : 
准确 、 有 效 、 简 党、 类 观 ! 由 此 对 应 的 丈 是 统计 图 的 实力 派 和 侦 像 派 。 


实力 派 : 谁 确 十 有 效 


准确 是 统计 图 最 基本 的 要 求 ， 即 能 够 使 用 正确 的 统计 图 去 描述 不 同类 型 的 数 
据 。 比 如 ， 对 于 离散 型 变量 (性 别 、 职 业 等 ) ， 可 以 画 饼 图 或 者 柱状 图 ， 对 于 连 
续 型 变量 (年龄 、 工 资 等 ) ， 可 以 画 直 方 图 或 者 箱 线 图 ， 对 于 时 间 序 列 变 量 
(GDP，CPI 等 ) ， 可 以 画 折 线 图 。 这 束 好 比 不 同 的 季节 要 和 罕 不 同 的 衣服 。 春 天 符 
风衣 ， 冬 天 穿 羽 绒 服 。 冬 天 穿 比 基尼 ， 这 不 是 好 不 好 看 的 问题 ， 而 是 会 被 冻 死 。 


然后 次 有 效 。 比 如 ， 有 了 两 个 变量 ， 一 个 是 性 别 ， 一 个 是 年 龄 。 如 末 比 较 男 性 
和 女性 的 年 龄 ， 应 该 选择 什么 梓 的 统计 图 呢 ? 先 展 示 一 组 丑 图 〈 见 图 2-1 和 图 2- 
2 
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图 2-1 男性 年 龄 卫 方 图 轴 须 图 及 密度 曲线 
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年 级 
图 2-2 ”女性 年 龄 卫 方 图 轴 须 图 及 密度 曲线 


图 2-1 和 图 2-2 展 示 的 是 针对 为 性 和 女性 的 两 个 且 方 图 。 鸭 性 起 绿色 ， 女 性 起 粉 
色 ! 但 其 实 丰 的 看 个 出 明显 的 对 比 。 你 可 能 要 问 ， 年 龄 不 是 连续 型 变量 吗 ? 不 是 
说 应 该 田 卫 方 图 吗 ? 分 组 男生 方 冬 ， ~ 但 却 达 不 到 有 效 。 图 2-3 则 
田 的 古 分 组 箱 线 图 (关于 箱 线 图 的 评 细 介绍 ， 请 参看 本 章 后 而 的 内 容 )， 无 论 在 
平均 水 下 还是 让 吉庆 上 ， 孝 比分 组 直方 图 更 加 有 效 地 体现 了 不 同性 别 的 年 此 对 


年 龄 





性 别 
图 2-3 ”男性 和 女性 年 龄 分 组 箱 线 图 
所 以 ， 男 图 时 ， 在 满足 准确 的 前 担 下 ， 要 多 动脑 筋 ， 如 何 能 让 统计 图 更 加 有 





效 地 展示 你 的 数据 ， 支 撑 你 的 观点 。 这 好 比 在 不 同 场合 穿 不 同 的 衣服 。 上 班 时 穿 
只 业 装 ， 毕 业 典 礼 上 穿 学 士 服 。 跑 步 时 穿 婚纱 ， 虽 然 也 能 跑 ， 但 能 跑 得 快 吗 ? 


贷 像 派 : 条 党 十 类 观 


先 说 简洁 。 图 2-4 是 对 年 龄 这 个 变量 作 的 统计 图 。 显 然 ， 连 续 型 变量 ， 国 直方 
图 。 你 可 能 会 被 图 中 每 个 柱子 底下 的 黑色 线段 吸引 。 这 叫 轴 须 图 。 但 这 是 什么 ? 
没 人 能 回 众 。 大 家 想 架 一下， 如 末 这 件 事情 友 生 在 会 议 、 讲 标 、 众 状 等 重要 场 
合 ， 束 莫 剧 了 ! 但 几 有 有 一 个 人 提出 这 种 问题 ， 人 们 的 注意 力 束 会 集中 在 这 个 不必 
要 的 环节 上 。 在 画图 阶段 ， 过 于 技术 的 细节 ， 如 条 一 名 话说 不 清 ， 惑 不 要 展示 。 
这 束 好 比 你 化 了 个 妆 ， 了 眼线 、 层 崩 部 不 饭 ， 最 后 你 非得 用 马 殉 笔 把 两 条 眉毛 插 得 
老 粗 ， 谁 还 能 看 到 你 的 明媚 双眸 和 楼 桃 小 口 啊 ， 全 都 看 你 的 慎 毛 了 。 
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图 2-4 ”获奖 演员 年 龄 耳 方 图 轴 须 图 及 密 大 曲 线 


再 谈 谈 关 观 。a 到 捅 什么 样 的 统计 图 是 好 看 的 ?客观 地 讲 ， 这 没有 唯一 正确 的 
标准 。 但 是 ， 一 个 类 观 的 统计 图 应 该 同时 满足 准确 、 有 效 和 简洁 的 标准 。 


图 2-5 和 是非 芝 普 通 的 人 饼 狗 ， 统 计 的 是 电影 《速度 与 激情 7》 中 主 壮 范 : 迪 轻 尔 开 
的 车 的 品牌 分 布 。 这 个 饼 图 干 干净 津 ， 标 注 消 楚 ,，“ 饼 ”上 还 贴心 地 印 了 车 的 logo。 
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图 2-$” 范 : 迪 老 尔 开 的 车 的 品牌 分 布 


而 图 2-6 属 于 一 种 树 图 (tree map) ， 来 目 谷 歌 的 一 份 报告 。 摘 述 的 是 在 谷歌 
搜索 东 种 裙子 的 关键 词 ， 出 现 的 各 种 质地 的 裙子 的 搜索 频数 分 布 。 让 
妙 ， 每 个 格子 二 接 用 入 于 的 质地 当 作 下 景 ， 格子 的 面积 束 代 表 这 种 质地 的 占 比 ， 
可 以 说 是 甘心 悦目 。 加 入 会 员 微 信 whair004 


LEATHER 
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图 2-6 各 种 质地 的 搜索 频数 分 布 


图 2-7 是 游戏 中 出 现 的 统计 图 ， 一 个 非 第 简单 的 柱状 图 。 它 的 配色 与 游戏 背景 
配合 得 天 衣 无 缝 ， 出 现 得 恰到好处 。 所 以 次 ， 糯 观 这 事 儿 ， 务 验 的 是 化 妆 的 整体 
扩 本 ， 以 及 对 于 细 区 的 把 握 。 淡 妆 浓 抹 总 相宜 ， 让 人 了 上 看 车 服 束 是 你 的 本 事 。 








图 2-7 某 游 戏 中 的 统计 图 
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柱状 图 


柱状 图 是 针对 离 敌 型 数据 (比如 性 列 》 所 作 的 统计 图 。 每 根 柱 子 代表 一 个 类 
列 ( 罗 性 或 者 女性 ) ， 柱 子 的 蜗 度 是 这 个 类 别 的 频数 男性 或 者 女性 有 多 少 
人 ) ， 有 时 也 是 百分比 。 肯 先 展 示 一 个 中 规 中 短 的 柱状 图 ( 见 图 2-8) 。 


图 2-8 
一 个 完整 的 统计 图 包含 以 下 要 系 或 者 注意 事项 : 
(1) 要 有 图 标题 ， 一 般 在 图 的 下 方 ， 标 题 要 人 简洁 明了 。 


(2) 报告 中 的 统计 图 要 有 标 写 。 柜 轴 和 纵 轴 要 标注 消 楚 〈 模 轴 : 职称 ， 纵 
轴 : 频数 )。 如 末 有 单位 的 话 ， 需 要 注 明 。 


(3) 图 的 标题 、 横 轴 、 纵 轴 和 等， 出 现 的 文学 要 统一 和 准确 ， 不 要 一 会 儿 中 

(4) 图 的 比例 要 协调 ， 列 太 胖 也 别 太 瘦 ， 别 太 遍 也 别 太 矮 。 

(5) 图 的 内 容 要 正确 、 人 简明 ， 避 人 免 出 现 不 必要 的 标签 、 背 景 等 。 

(6) 注意 图 的 配色 。 不 要 精 挑 细 选 一 组 非常 难看 的 配色 ! 

(7) 画 完 图 要 有 适当 的 评述 ， 尤 其 是 在 报告 里 ， 这 点 非常 章 要 。 比 如 ， 职 称 
一 共有 三 个 水 平 〈 正 教授 、 副 教授 和 助理 教授 ) 。 从 图 2-8 中 可 以 看 出 ， 正 教授 的 


人 数 最 多 (151 人 ) ， 其 次 是 副教授 (131 人 ) ， 人 数 最 少 的 是 助理 教授 (58 
人 ) 。 很 多 报告 ， 常 常 是 一 个 统计 图 从 天 而 降 ， 吡 当 摆 在 报告 里 ， 没 有 任何 评 





述 ， 这 坪 非常 精 糙 的 做 法 。 要 么 就 不 男 图 ， 画 图 惑 要 有 筷 的 作用 ， 必 须 有 简单 的 
评论 。 所 谓 ， 写 报告 ， 统 计 图 和 评论 更 配 。 


有 人 抱 仿 软件 ， 说 这 个 软件 画图 不 好 看 ， 奢 个 软件 配色 丑 。 这 是 典型 的 睡 不 
觉 理 起 枕头 ， 目 己 画 图 丑 列 把 责任 推 到 统计 软件 上 ! 


例 2-1 “价款 用 户 信 用 等 级 频数 分 布 柱状 图 





005 人 60 信用 等 级 
U HR 上 D C B A AA 
图 2-9 ”借款 用 户 信用 等 级 分 布 图 
点 评 ; 
第 一 ， 这 不 是 在 画 统 计 图 ， 而 是 在 画 诗 ， 这 幅 图 画 的 是 《 题 西林 壁 》 中 的 “ 远 
近 高 低 各 不 同 *。 最 高 的 柱子 高 2 万 多 ， 最 矮 的 柱子 才 60。 有 两 个 解决 办 法 ， 一 是 将 
特别 少 的 归 为 其 他 ， 然 后 将 柱子 按照 从 高 到 低 的 顺序 排列 (这 个 技巧 很 实用 ， 能 


让 你 的 柱状 图 美观 很 多 ) ;二 是 干脆 就 只 画 具 有 可 比 性 的 三 个 信用 等 级 ， 然 后 文 
字 说 明 一 下 其 他 等 级 的 频数 特别 少 。 


第 二 ， 征 类 观 问题 。 人 都 说 距离 产生 才 ， 柱 子 之 间 需 要 留 出 空 险 ， 让 人 嘴 口 
气 。 横 坐标 “信用 等 级 ”也 体现 了 目 己 无 处 安放 的 育 春 ， 非 要 跟 频 数 6 ”0 挤 在 一 起 才 
有 安全 感 吗 ? 其 实 完全 可 以 调整 到 横 轴 下 方 做 一 个 安静 的 天 鸭子 。 

第 三 ， 是 图 的 标题 。 这 个 图 的 大 名 叫 “ 柱 状 图 ”， 你 却 起 个 绎 写 叫 “分 布 图 ”。 


总 结 一 下 ， 这 个 柱状 图 ， 男 的 没有 错 ， 只 是 丑 而 已 ! 图 2-10 是 “整容 ”后 有 的 版 
本 。 
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例 2-2 奥斯卡 获 交 者 出 生地 的 频数 分 布 柱状 图 











图 2-11 ”获奖 者 地 区 分 布 频 数 图 
凡 评 : 


第 一 ， 这 幅 图 可 以 用 来 玩 < 看 统计 图 猜 成 语 ” 的 游戏 ， 这 个 成 语 就 是 “参差 不 
章 "。 洋 洋酒 酒 几 十 根 柱 子 ， 精 心 排列 得 奇 丑 无 比 。 而 且 由 于 柱子 数 太 多 ， 很 多 标 





签 无 法 显示 ， 根 本 无 法 知 间 每 根 柱子 对 应 哪个 地 区 ， 相 当 于 这 个 柱状 图 没有 传 地 
任何 信息 ! 解决 办 法 是 ， 将 频数 较 少 的 类 别 合 并 ， 然 后 将 柱子 按照 从 融 到 低 排 
列 。 注 意 : 柱状 图 的 柱子 数 最 好 不 要 超过 10 根 ,否则 闫 观 程 度 将 大 打折 扣 。 

第 二 ， 图 的 标题 出 现 了 两 次 ， 这 是 分 析 报 告 里 经 第 看 到 的 。 图 的 上 方 ， 标 注 
了 一 次 标题 《更 多 时 候 是 统计 软件 于 认 的 标题 ， 而 作者 没有 修改 或 者 去 杯 ) ， 然 
后 图 的 下 方 又 号 了 一 过。 正确 的 做 法 是 ， 上 只 在 图 的 下 方 与 标题 。 


第 三 ， 图 的 标题 和 纵 轴 标题 。 与 图 2-9 中 的 柱状 图 关 似 ， 大 名 叫 " 往 状 图 ?， 驳 
不 要 再 给 起 个 “频数 图 ”或 者 “分布 图 ”这 种 名 字 了 。 帮 外， 这 个 图 缺少 纵 轴 标题 ， 可 
以 标注 “频数 ”或 者 “人 数 ”。 


总 结 一 下 ， 这 个 柱状 图 不 但 很 丑 ， 而 且 没 能 有 效 地 传递 任何 信息 。 同 样 的 数 
据 ， 完 全 可 以 换 一 种 作 图 方式 ， 例 如 图 2-12， 它 把 每 个 地 域 获奖 者 的 人 数 标注 在 了 
美国 地 图 上 ， 这 个 图 基本 上 应 该 给 满分 《如 采 能 加 上 颜色 ， 利 用 凑 色 的 深浅 来 反 
了 映 频 数 的 多 少 殉 更 好 了 ) 。 
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图 2-12 ”获奖 者 出 生地 分 布 图 (美国 ) 
例 2-3” 调 租 问 卷 中 被 调查 者 的 一 些 基 本 情况 


年 级 条 形 图 性 别 条 形 图 








三 
本 二 
吕 中 
在 = 在 三 
景 < 党 < 
| ms EW es WN . 
天 -水 二 来 宇 :天 着 “入 主 男 女 
年 绷 及 以 上 性 别 
年 级 条 形 图 一 周 内 平均 使 用 知 乎 次 数 条 形 图 
地 三 坡 号 
县 王 村 王 
_ Es | 
人 文 社会 自然 科学 理学 、 工 学 ”医学 2 次 及 以 下 3~5 次 。 5~7 次 ?次 以 上 
科学 二 一 周 内 平均 使 用 知 乎 次 数 


图 2-13 ”问卷 1 一 4 条 形 统计 图 
态 评 : 这 不 算是 一 个 丑 钢 ， 放 在 这 里 是 因为 有 三 点 需要 强调 : 


第 一 ， 岁 的 标题 。 一 般 而 言 ， 知 是 紧 看 的 柱子 ， 称 为 柱状 图 ， 大 是 棋 看 的 桩 
子 ， 称 作 条 形 图 。 柱 状 图 和 条 形 图 没有 什么 本 质 的 区 别 ， 只 是 展示 方式 个 同 。 所 
以 这 里 叫 柱状 图 更 加 幅 切 。 


第 二 ， 柱 子 的 排列 。 前 文 已 所 到 ， 按 照 柱 子 从 高 到 低 排 序 ， 会 使 柱状 图 更 闫 
观 。 但 不 是 所 有 情况 都 以 此 为 标准 。 注 意 : 本 例 中 ， 是 按照 类 别 的 顺序 排列 的 
(比如 年 级 按照 从 大 一 到 硕士 ) ， 这 也 是 排列 柱子 的 一 种 方式 。 


第 三 ， 右 上 角 的 柱状 图 只 有 两 个 柱子 。 前 文 提 到 ， 柱 状 图 的 柱子 数 太 多 不 美 
观 。 这 里 再 补充 一 名 ， 柱 子 数 太 少 了 也 不 深 完 。 大 和 家 用 心 体会 一 下 ， 男 统计 图 跟 
养生 特别 像 ， 传 达 的 是 一 种 适量 的 狂 神 ， 信 息 量 太 多 或 者 太 少 都 个 妥当 。 对 于 右 
上 角 这 个 柱状 图 ， 其 实 可 以 不 用 另 图 ， 用 文学 号 上 男生 多 少 人 、 女 生 多 少 人 或 
者 目 比 〉 即 可 。 人 不 是 所 有 的 数据 手 述 虱 要 通过 面 图 来 完成 。 


堆积 柱状 图 


这 里 要 讲 的 是 一 种 更 加 复杂 的 柱状 图 ， 江 湖人 称 “ 堆 积 柱状 图 ”。 按 照 惯 例 ， 还 
是 完 做 一 个 正确 的 示范 。 堆 积 柱状 图 和 柱状 图 的 本 质 一 样 ， 部 是 在 展示 频数 。 只 
不 过 简单 的 柱状 图 只 涉 及 一 个 离散 型 变量 《比如 性 别 ) ， 而 堆积 柱状 图 涉及 两 个 
离散 型 变量 《比如 性 别 和 职称 ) 。 图 2-14 展 示 了 一 组 样本 数据 中 ， 性 别 和 职称 交叉 
频数 的 柱状 图 。 
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正教 所 副教授 。 ”助理 教授 二 颖 
图 2-14 一 组 堆积 柱状 图 示例 


因为 有 两 个 离 艇 型 变量 ， 柱 子 可 以 代表 任何 一 个 变量 ， 这 样 承 产生 了 两 种 男 
法 。 左 上 角 的 柱状 图 中 ， 柱 子 代 表 职 称 ， 右上 角 的 柱状 图 中 ， 柱 子 代 表 性 别 。 也 
正 古 因为 柱子 只 能 代表 一 个 变量 的 不 同类 别 ， 那 么 为 外 一 个 变量 的 类别 只 能 通过 
颜色 (也 有 其 他 手段 ， 颜 色 最 为 常见 ) 进行 区 分 。 这 样 束 需要 一 个 额外 的 标签 ， 
标注 男 一 个 变量 的 不 同类 别 所 对 应 的 颜色 。 按 照 交 又 频数 的 展示 手段 ， 是 “堆积 展 
未 ”( 左 上 和 角 ) 还 是 “分 开展 示 ”( 左 下 角 ) ， 又 会 形成 两 种 不 同 的 男 法 。 于 是 ， 同 
一 组 数据 ， 可 以 有 四 种 不 同 的 展示 方法 。 具 体 采 用 哪个 柱状 图 ， 取 决 于 想 给 读者 
I 

于 女 这 一 信息 。 


有 两 点 值得 注意 : 1》 堆积 柱状 图 也 可 以 展示 一 个 离散 型 变量 和 一 个 连续 型 
变量 ， 甚 至 两 个 连续 型 变量 ， 前 提 是 将 连续 型 变量 离散 化 ， 比 如 将 年 龄 分 成 若干 


离 做 区间。 (2) 采用 堆积 展示 的 手段 ， 不 太 适 合 在 柱子 上 标注 出 交 义 频数 ， 会 显 
得 混乱 。 


介绍 了 最 基本 的 知识 之 后 ， 来 看 看 堆积 柱状 丑 图 。 


例 2-4 ”北京 市 不 同 空 气质 量 〈 从 严 章 污染 到 民 ， 共 5 个 水 平 ) 下 首要 污染 物 出 
现 的 频数 





图 2-15 ”北京 市 不 同 空 气质 量 指 数 类 别 下 首要 污染 物 分 布 图 
点 评 : 
第 一 ， 这 是 在 对 读者 进行 色弱 测试 吗 ? 很 难看 出 ， 哪 段 是 PM2 . 5， 哪 段 是 
PM10。 注 意 ， 但 几 类 别 较 多 ， 需 要 男 推 积 柱状 图 的 时 候 ， 应 选择 区 分 度 比 较 强 的 
配色 ， 让 人 能 识别 出 每 段 柱子 都 是 哪个 类 列 。 


第 二 ， 这 些 柱 于 上 和 面 最 多 出 现 了 4 种 闫 色 ， 然 而 标签 却 显示 出 7 种 物质 。 看 原 
始 数据 才 有 发 现 〈 见 表 2-1) ，CO 或 者 03 频 数 太 低 ， 根 本 显示 不 出 来 。 


表 2-1 北 页 市 不 同 空 气质 量 指数 类 别 下 首要 污染 物 分 布 单位 : 天 





民 8 47 0 60 34 63 208 
轻 度 污染 2 0 ] 51 5 61 0 120 
中 度 污染 0 0 0 33 4 58 0 95 
重度 污染 0 0 0 4 0 42 0 46 
严重 污染 0 0 0 0 0 14 0 14 
合计 4 47 ] 148 43 238 483 


不 妨 手动 输入 数据 ， 去 挥 频 数 小 于 10 的 三 种 污染 物 ， 给 出 如 图 2-16 所 示 的 柱状 
= nn 
图 、 结果 。 
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民 轻 麻 污染 中 度 熏 染 Ei 严 量 行当 
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图 2-16 ”修改 之 后 的 污染 物 分 布 柱 状 图 


例 2-5 ”获得 奥斯卡 所 名 污 员 不 同性 别 的 获奖 频数 


300 


200 


ynWwin 





女性 


male 
图 2-17 male 对 ynwin 分 组 条 形 图 


第 一 ， 图 的 标题 和 柜 轴 、 纵 轴 处 ， 中 现 文 混用 。 比 如 模 铀 标 看 严 文 的 male， 然 
后 分 列 和 一 了 女性 和 男性 的 柱子 。 纵 轴 更 过 分 ，ynwin 是 什么 ?或 计 你 会 说 ， 前 文中 
所 到 ynwin 代 表 坪 合 获奖， 但 前 所 是 有 多 少 人 会 专心 看 你 那儿 十 页 报告 。 而 且 这 里 
纵 轴 应 该 标注 “频数 ”"， 而 非 是 侍 医 奖 。 


第 二 ， 标 签 挡住 了 柱子 。 这 是 最 让 人 难以 容 奶 的 。 


第 三 ， 骨 性 和 女性 这 两 组 福子 非常 像 〈 篮 色 柱 高 基本 相同 ， 粉 色 柱 女性 略 
高 ) ! 作者 的 评论 号 看 :“ 活 员 获 奖 事 件 的 发 生 与 性 别 无 天 。?” 看 后 更 加 一 头 雪 水 ! 
那么 监 色 柱 子 男 的 是 效 过 奥斯卡 炎 的 人 数 ， 还 是 人 次 呢 《报告 里 和 面 没 区 代 ) ? 如 
朱 是 人 次 ， 这 不 是 废话 蚂 ? 每 年 灸 斯 卡 部 会 分 列 有 一男 一 女 分 获 最 住 男女 主角 奖 
( 极 少 数 情 况 下 会 有 风 人 同时 获 淆 ) 。 如 来 是 人 数 的 话 ， 会 存在 一 个 演员 多 这 获 
奖 的 情况 ， 赣 色 柱 高 一 样 又 有 点 太 储 巧 。 这 个 统计 图 以 及 不 清晰 的 陈述 ， 都 给 读 
者 市 来 了 很 大 的 疑惑 

总 而 诗 之 ， 这 个 柱状 图 十 非 第 失败 的 展示 ， 从 图 到 评论 ， 部 会 给 报告 大 大 扣 
分 ! 那么 怎么 改 昵 ?其 实 不 用 画图 ， 简 时 陈述 一 下 ， 本 文 统 村 了 多  ” 少 届 奥斯卡 
奖 、 提 名 了 多 少 人 、 为 女医 奖 者 义 有 多 少 人 束 可 以 了 。 





柱状 图 之 妙用 


除了 用 来 展示 频数 ， 柱 状 狗 还 有 列 的 用 途 ， 本 克 跟 大 家 分 时 两 个 和 福 状 图 的 其 
O 


他 妙 
妙用 一 : 展示 某 些 常用 的 统计 量 ， 让 你 的 汇报 更 直观 


假设 样本 数据 包含 1000 辆 车 ，4 种 车 型 (A，B，C，D) 。 以 往 画 柱状 图 ， 瓯 
征 展示 每 种 车 型 各 有 多 少 辆 后。 


现在 ， 统 计 了 这 些 和 车 在 2015 年 全 年 的 你 铸 化 销 ， 想 比较 不 同和 车 型 的 平均 化 
锁 ， 看 看 哪 种 车 型 的 平均 保养 亦 用 最 高 。 一 般 情 况 下 ， 人 们 会 分 车 型 算出 平均 
数 ， 用 统计 表 进 行 展示 (统计 表 里 可 能 还 会 报告 其 他 统计 量 )〉。 


作为 另 一 种 选择 ， 也 可 以 用 柱状 图 进行 展示 ， 柱 高 就 是 统计 量 (平均 保养 费 
用 》 的 到 值 ， 如 图 2-18 所 示 《类别 不 多 ， 可 以 按照 车 型 排列 柱子 ， 也 可 以 按 柱 了 
度 排 列 ) 。 


请 注意: 首 匈 ， 千 万 不 要 每 个 统计 量 都 展示 一 过 ， 均 值 、 中 位 效 、 方 赫 、 标 
准 和 过， 一 个 变量 田 出 好 儿 个 柱状 图 展示 不 同 的 统计 量 。 要 展示 读者 最 关心 的 ， 或 
者 最 能 讲 出 故事 的 奸 些 统计 量 ， 做 到 少 而 精 。 其 砍 ， 田 这 种 柱状 图 时 ， 非 常 容 匈 
犯 一 个 错误 ， 或 者 说 有 的 报告 是 故意 为 之 。 图 2-19 展 示 的 是 芋 型 B 和 C 的 年 均 你 养 
J Fe 7 轴 从 0 开始 画 起 。 右 侧 的 柱状 图 特意 隐 

了 了 Y 了 轴 。 


比较 左右 两 组 柱状 图 可 以 看 出 ， 右 侧 的 柱状 图 在 视觉 上 拉 大 了 两 种 车 型 的 平 
均 保养 费用 产 距 ， 因 为 右 图 的 纵 轴 是 从 2 开始 画 的 。 如 果 话 者 没有 格外 留意 ， 束 会 
在 视觉 上 产生 错 党 ， 接 收 错误 的 信息 〈 这 里 可 不 是 在 教 你 作假 ， 而 是 在 教 你 打 
假 ，。 用 东 些 作 图 软件 (例如 R)〉 男 图， 可 能 不 会 过 到 这 个 问题 ， 但 是 如 果 用 
Excel， 就 有 可 能 过 到 这 个 问题 。 





平均 保养 费用 ( 千 元 ) 
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图 2-18 不 同 车 型 的 平均 保养 花 销 
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图 2-19 ”展示 Y 轴 ( 左 ) 和 隐藏 Y 轴 ( 右 ) 的 柱状 图 比较 
妙用 二 :展示 回归 分 析 的 系数 估计 结果 


大 家 可 能 会 困惑 ， 教 材 上 从 来 没 教 过 用 统计 图 展示 回归 结 末 ， 老 师 教 给 我 们 
的 证 要 现 现 证 十 傣 成 圾 ， 要 汇报 系数 估计 值 、{t 便 、p 值 ， 等 等 。 设 想 下 面 两 种 场 
个 

第 一 ， 当 你 在 听 一 个 报告 的 时 候 ， 如 末 回 归 分 析 涉 及 8 一 10 个 目 变 量 ， 给 你 的 
第 一 印象 是 什么 ? 看 不 到 重点 ， 更 没 心思 去 细 看 系数 伯 计 值 了 。 

第 二 ， 奋 你 是 作 报告 的 人 ， 翻 到 回归 结束 那 页 ppt 的 时 候 ， 讲 述 起 来 是 不 是 也 
略 显 肥力 昵 ? 听众 的 心 念 但 早 融 飞 到 九 霄 云 外 了 。 

做 展示 ， 跟 写 报 告 义 不同 ， 需 要 想 尽 办 法 用 统计 图 去 抓 住 听众 的 心 。 假 设 一 
批 笠 本 数据 ， 因 变量 是 来 年 的 净 资 产 收 益 率 ， 目 变量 包括 当年 准 资 产 收 益 率 、 资 
人 表 2-2 和 是 全 模型 回归 结 末 《只 简略 展示 了 部 分 系数 佑 计 值 和 p 


表 2-2 全 模型 回归 结果 


变量 名 系数 估计 值 p 值 


蕉 距 项 0. 454 0. 390 
ROE 0. 487 <D001 
AT() —0.015 0. 758 
PM 0. 079 0. 054 
LE —0. 040 0, 00] 


在 报告 中 ， 回 归结 来 往往 是 以 表 2-2 的 形式 展现 的 ， 然 而 这 种 表现 方式 个 太 适 合 ppt 
汇报 。 可 以 用 柱状 图 展示 回归 系数 佑 计 值 ， 如 图 2-20 所 示 。 


冬 2-20 的 展示 效果 有 三 点 需要 注意 : 


(1) 用 红色 和 涯 色 区 分 了 显 者 和 不 显 关 的 系数 售 计 。 红 色 和 是 指 系数 佑 计 跟 0 
有 显 百 卉 弄 ， 而 澡 色 是 指 没 有 。 因 此 解读 的 时 候 ， 关 注 红 色 柱 子 即 可 。 


(2) 柱子 大 上 ， 说 明 目 变 量 和 因 变 量 的 关系 古 正 癌 的 。 目 变量 取 值 增加 的 时 
修 ， 因 变量 取 值 也 增加 。 类 似 地 ， 如 果 柱 子 朝 下 ， 说 明 目 变 量 和 因 变量 的 关系 古 
负 问 的 。 目 变量 取 值 越 大 ， 因 变量 取 值 则 越 小 。 
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自 变量 
图 2-20 ”回归 系数 展示 


(3) 大 对 目 变 量 进行 了 标准 化 ， 那 么 柱子 的 高 度 ， 也 融 是 系数 的 仿 计 值 有 可 
比 性 ， 可 以 二 观 地 区 分 出 目 变 量 对 因 变 量 的 影响 大 小 。 


人 研 图 


饼 图 是 一 种 使 用 非常 广泛 的 统计 图 ， 也 是 丑 图 的 重 炙 区。 人 饼 图 跟 往 状 图 一 
样 ， 都 是 针对 离 枯 型 数据 的 统计 网 。 柱 状 儿 多 用 于 展示 频数 ， 饼 儿 多 用 于 展示 频 
率 (也 就 是 比例 ) 。 下 和 耐 完 展 示 一 个 规 规 窒 短 的 饼 图 〈( 见 图 2-21〉。 人 饼 图 展示 的 是 
在 东 洲 戏 中 ， 最 近 一 周 9 个 职业 使 用 热度 〈 融 是 示 一 职业 使 用 次 数 占 总 次 数 的 比 
例 ) 。 法 师 这 个 职业 便 用 次 数 最 多 ;最 受 嫌 弃 的 职业 是 战士 ， 丘 比 只 有 不 到 5%。 


下 面 先 看 三 组 丑 图 ， 最 后 青 做 总 结 。 重 点 从 饼 的 块 数 和 标签 的 标注 来 进行 点 
评 。 
战士 


4.88% 萨 满 
6.579% 


,9.01% 








| 盗贼 
猎人 量 9.3894 
15.57901 
牧师 
10.88%% 


术 填 


12.76% 德 鲁 伊 


11.26% 
图 2-21 ”游戏 《 炉 石 传说 》 中 职业 分 布 饼 图 
资料 来 源 : 炉 石 传说 例子 (lushi . 163 . com) 。 
例 2-6 一 拍 两 散 ， 貌 合 神 离 


当 一 个 离 敢 型 变量 只 有 两 个 取 值 的 时 候 ， 无 论 在 报告 里 还 是 在 ppt 里 ， 都 不 建 
议 男 饼 图 ， 因 为 很 容 多 田 成 图 2-22 的 丑 样 。 
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图 2-22 ”一 组 次 别 数 较 少 的 饼 几 示例 


这 些 饼 图 之 所 以 不 好 看 ， 主 要 是 因为 变量 只 有 两 个 取 值 ， 信 息 量 太 少 。 那 怎 
么 办 ? 如果 是 在 报告 里 ， 建 议 直 接 写 一 句 话 。 比 如 右上 和 角 的 人 饼 图 ， 可 以 写成 “样本 
数据 中 ， 成 功 的 比例 为 51 . 6%”。 如 果 非 要 画图 做 ppt 展 示 ， 除 非 你 能 画 成 图 2-23 这 
Pt 
言 whair004 





OYo 449%0 人 
图 2-23 一 组 美观 的 数据 展示 示例 


例 2-7 群雄 割据 ， 刁 绝 人 赛 


与 例 2-6 中 的 饼 图 形成 鲜明 对 比 ， 图 2-24 展 示 的 是 变量 取 值 特别 多 的 一 类 饼 
图 。 除 非 这 几 个 类 别 分 布 比 较 均 匀 〈 如 左上 角 的 饼 图 ， 是 魔兽 玩家 星座 分 布 ) ， 


人 奋 则 效 玉 残 古 剩 下 的 儿 个 饼 图 。 需 要 注意 以 下 儿 乓 : 


第 一 ， 饼 的 块 数 过 多 的 时 候 ， 有 两 种 改进 办 法 : 一 种 是 将 比例 不 到 5% 的 ， 归 
为 一 类 ， 叫 作 其 他 。 可 以 在 饼 的 下 方 写 个 注释 或 者 在 行文 中 提 及 “其 他 ?都 包括 什 
么 。 另 一 种 是 男 条 形 铭 。 条 形 网 是 柱状 图 的 兄弟 ， 是 把 柱状 图 顺 时 针 旋转 90 度 。 
I 
离散 型 变量 。 


第 二 ， 饼 的 标签 单独 打 在 劳 边 的 时 候 ， 旋 者 对 应 起 来 很 咒 勃 ， 比 如 右 下 角 的 


人 饼 图 。 细 心 一 点 的 读者 还 会 发 现 : 这 个 人 饼 分 了 9 块 ， 夺 侧 的 标签 只 有 8 个 。 田 外 一 
个 34 . 53% 的 饼 对 应 的 标签 呢 ? 


WOWer 者 十 件 么 诬 
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图 2-24 一 组 类 别 数 较 多 的 饼 图 示例 


第 三 ， 人 饼 的 标签 ， 一 般 只 标注 百分比 ， 很 少 标注 频数 或 者 两 痢 都 标注 。 堪 下 
角 的 饼 图 束 同 时 标注 了 频数 和 白 分 比 ， 弄 闸 泥 乱 。 


下 和 面 针 对 右 下 角 的 饼 图 ， 做 了 改 民 〈 见 图 2-25) 。 


门诊 部 
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28.04%0 
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/8.2800 


图 2-25 一 个 “改良 ”后 的 饼 图 
例 2-8 ”不 多 不 少 ， 刁 得 正好 
例 2-6 和 例 2-7 中 的 两 组 丑 匈 所 涉及 的 离散 型 变量 取 值 要 么 太 少 ， 要 么 太 多 。 如 


末 一 个 离 大 型 变量 取 值 不 多 不 少 ， 面 出 来 的 饼 图 束 一 定 关 闫 炭 吗 ? 请 看 网 2- 26 所 
展示 的 这 组 色 满 想象 力 的 饼 疼 。 
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图 2-26 一 组 分 布 极 不 均匀 的 饼 图 示例 


左上 角 的 饼 图 ， 厚 重 感 满 满 。 但 比例 不 标注 ， 标 签 也 很 难 对 应 上 。 石 上 角 的 
饼 图 ， 小 数位 数 保留 两 位 即 可 。 左 下 角 的 饼 图 ， 标 签 是 "1，2，3，4，5”， 跟 比例 
完 类 地 融合 在 一 起 不 分 向 此 。 很 多 小 伙伴 一 定 不 服气 了 ， 数 据 束 长 成 这 样 啊 ， 男 
出 来 的 饼 图 束 是 这 么 丑 。 为 了 回答 这 个 问题 ， 引 用 一 句 R help 里 面 的 一 句 话 : 
Note: Ple charts are a very bad way of displa - ymg m for mation . The eye ls good at 
]udsgmsg linear measures and bad at Judgimngre lative areas . A bar chart or dot chart is a 
preferable way of dis - playing this type of data . 翻 幸 过 来 束 是 : 没事 儿 别 男 饼 网 ! 


那 有 没有 改 民 瞩 的 饼 图 呢 ? 这 里 隆 午 推出 一 球 整 容 神 桌 ; 复合 饼 图 ! 中 心思 
想 是 把 鼎 比特 列 小 的 区 块 用 为 外 一 个 饼 图 放大 出 来 。 右 上 角 的 饼 图 整容 之 后 如 图 2- 
27 所 示 。 你 肯定 想不到 ， 这 是 用 Excel 男 的 。 









适 期 还 到 
0.079% 


已 访 标 67.85%% 


其 他 0.53% 


图 2-27 一 个 复合 饼 图 示例 


最 后 ， 进 行 总 结 。 


第 一 ， 饼 的 基数 。 这 是 经 钊 健 到 的 问题 ， 一 其 饼 到 撒 多 少 个 人 吃 才 合适 呢 ? 
块 效 少 了 ， 每 个 人 都 容易 吧 撑 ， 块 数 多 了 ， 大 家 者 吃 不 了 他。 结论 是 : 不 多 不 少 。 


第 二 ， 人 饼 的 标签。 一 个 规 规 写 窍 的 做 法 是 在 饼 的 劳 边 对 应 在 标注 闫 别 十 比 
例 。 还 有 一 种 常见 的 做 法 是 只 在 饼 上 标注 比例 ， 在 劳 边 籁 外 标注 相应 的 类 别 。 然 
而 ， 第 三 种 做 法 不 是 那么 容易 对 应 上 ， 所 以 还 是 推荐 第 一 种 标注 方法 。 


第 三 ， 饼 的 配色 。 精 挑 细 选 的 难看 配色 比比 篆 是 。 有 R 里 面 有 四 个 音 用 的 配色 : 
heat . colors，terrain . colors，cm . colors 以 及 rainbow。 大 家 可 以 尝试 一 下 ， 然 后 量 
ee 
深 色 。 


和 耳 方 图 
直方 图 是 针对 连续 型 变量 所 作 的 统计 图 。 笔 者 随机 生成 了 1000 个 来 


目标 准 正 态 分 布 的 随机 数 ， 另 了 一 组 耳 方 图 ( 见 图 2-28) 。 
(a} (b) 
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图 2-28 一 组 直方 图 示例 


直方 图 的 模 轴 是 实数 轴 ， 被 分 成 了 许多 连续 的 区 间 。 这 些 区 间 ， 可 以 是 等 距 
的 ， 也 可 以 是 不 等 距 的 ， 可 以 是 左 开 右 闭 的 ， 也 可 以 是 左 闭 右 开 的 。 直 方 图 的 纵 
铀 有 两 种 处 理 方式 一 是 代表 频数 ， 如 图 2-28 中 的 《27 ， Cb Ce) ;一 古代 
表 密度 ， 如 图 2-28 中 的 (d) 。 先 看 (a) ， (b) ， (ec) ， 这 三 个 图 的 共同 点 是 ， 
办 销 代 时 项 数 ， 就 是 沙 在 相应 区 间 内 的 样本 数 ” 二 个 痪 的 不 出 点 是 ， 区 间 的 次 度 
不 一 样 ， 从 (a) 到 〈e) ， 区 间 越 来 越 " 窄 "， 数 据 的 分 布 形态 也 被 展示 得 越 来 

越 < 细 ”。 一 般 认 为 ， (b) 是 看 着 比较 舒服 的 。 再 看 〈d) ， 这 个 图 的 纵 轴 是 概率 密 
度 (不 是 频率 ) ， 图 中 红色 的 线 是 用 非 参 数 方法 估计 的 概率 密度 曲线 。 实 际 上 ， 











直方 网 是 一 种 非 参数 方 法 。(d) 在 学 术 论 文中 使 用 较 多 ， 在 偏 回 应 用 的 报告 中 ， 
更 多 地 使 用 纵 轴 是 频 效 的 直方 网 。 


耳 方 图 最 大 的 用 处 古 观 罕 数据 分 布 的 形态 ，J 了 解数 据 的 取 值 疙 围 。 关 于 数据 
分 布 ， 主 要 分 为 对 称 、 右 仿 和 左 偏 三 种 。 下 和 面 来 看 男 外 一 组 直方 图 〈( 见 图 2-29) 。 
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图 2-29 ”一 组 不 同 分 布 形态 的 直方 图 示例 
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图 2-30 ”一 个 并 不 类 观 的 直方 网 示例 


图 2-29 中 的 〈a) ，(b) 和 【(c) 分 别 是 对 称 分 布 、 右 俩 分 布 和 雹 侦 分 布 的 形 
态 。 对 称 的 形态 比较 容易 判断 ， 但 有 人 经 种 摘 不 清 右 俩 和 堪 俩 。 百 方 图 的 “尾巴 ”在 
哪里 ， 束 是 往 哪 里 仿 ， 仿 佛 新 尹 婚 纱 的 拖 尾 一 笠 。 例 如 ， 人 人们 和 芝 说 的 三 八 定律， 
说 的 是 绝 大 多 数 客户 市 来 的 收入 利润 ) 都 很 低 ， 上 只 有 少数 客户 做 出 了 巨大 页 
献 。 如 末 数 据 服从 这 种 规 健 ， 那 么 下 方 图 束 应 该 是 石 依 的 ， 因 为 大 量 的 样本 集中 
人 在 左边 【原点 附近 ) ， 代 表 低 价值 竹 尸 ， 而 少数 样本 集中 在 右边 ， 代 表 局 价值 客 
J 


在 运用 百 方 多 时 再 要 注意 以 下 两 点 : 


第 一 ， 当 拿 到 数据 之 后 ， 往 往 希 要 对 连续 型 变量 团 百 方 匈 ， 看 看 分 布 的 形 
态 ， 这 是 正确 的 做 法 。 但 不 古 每 个 下 方 图 部 要 放 在 报告 或 者 ppt 里 ， 因 为 有 的 数据 
团 出 来 的 直方 图 并 不 好 看 ， 如 图 2-30 所 示 。 这 个 直方 图 不 好 看 ， 并 不 怪 直 方 图 本 
吴 ， 而 是 数据 分 布 没 法 男 出 芝 心 局 目的 了 古方 图 。 在 数据 分 析 的 初始 阶段 ， 可 以 做 
各 种 男 图 竹 试 。 但 是 在 报 各 阶段 ， 要 选择 大 观 的 、 有 展现 力 的 图 表 来 汇报 ， 并 且 
讲 出 故事 。 实 在 难以 应 付 的 ， 可 以 选择 不 画图 而 是 用 文字 傈 要 汇报 。 因 上 此， 描述 
分 析 不 在 全 面 而 在 精辟 。 


第 二 ， 要 看 作 的 图 是 否 有 效 传 递 了 信息 ， 同 时 想 一 想 是 否 有 其 他 展现 手段 ， 
否则 后 果 将 如 图 2-3 1 所 示 。 


图 2-31 展 示 的 是 四 类 用 户 的 微 博 被 转 肥 数 的 直方 多 。 四 个 直方 匈 在 一 个 多 中 ， 
颜色 互相 罗 凋 ， 没 能 准 硝 传递 任何 信息 。 一 个 可 行 的 解决 办 法 是 ， 做 一 个 统计 
表 ， 比 较 四 闫 用 户 的 微 贿 被 转 肥 数 的 各 种 统计 量 〈 最 值 、 均 值 、 分 位 数 、 标 准 产 
等 ) ， 效 末 会 好 很 多 。 所 以 ， 要 学 会 用 有 效 的 于 段 展示 数据 ， 国 网 不 是 唯一 选 
择 ， 做 统计 表 或 者 文字 陈述 也 是 可 行 的 。 
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图 2-31 ”一 个 信息 传递 无 效 的 直方 多 示例 


折线 图 





本 节 主 要 讲 针对 时 间 序 列 的 统计 图 一 折线 图 。 先 看 三 种 常见 的 数据 类 
型 ， 横 截面 数据 、 时 间 序列 数据 和 面板 数据 ， 分 别 如 图 2-32 至 图 2-34 所 示 。 


e 侦 规 面 效 据 是 指 在 东 一 时 间 点 上 ， 在 多 个 对 象 上 采集 到 的 数据 。 比 如 东 次 独 
能 会 团队 跑步 活动 中 ， 团 队 成 员 的 吴 高 、 体 重 ， 以 及 跑 10 公 里 的 耗 时 。 


e 时 间 序 列 数 据 是 指 在 一 些 时 间 点 上 ， 针 对 某 个 对 象 采集 的 数据 ， 反 映 事 物 随 
时 间 的 变化 。 比 如 2014 年 3 月 至 2016 年 9 月 ， 每 个 月 给 孩子 测量 一 次 体重 。 
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图 2-33 ”时 间 序 列 数 据 





图 2-34 ”面板 数据 





e 面板 数 据 是 指 在 多 个 时 间 点 上 ， 对 于 同一 批 对 象 来 集 的 数据 。 比 如 2014 年 3 
月 宇 2016 征 9 月 ， 每 个 月 采集 爸爸 、 妈 妈 和 孩子 的 映 蜗 、 体 午 等 数值 。 


本 市 主要 介绍 时 间 序 列 数据 。 时 间 序 列 数据 的 典型 特征 是 珊 有 时 间 标 ” 签 ， 因 
此 折线 图 的 横 轴 是 时 间 《 顺 序 不 能 乱 ) ， 纵 轴 是 某 一 指标 取 值 。 将 每 个 时 间 点 上 
采集 到 的 指标 取 值 标 在 图 上 ， 相 邻 的 两 个 点 用 直线 连 接 起 来 ， 残 形成 了 折线 疼 。 


例 2-9 ” 追 热 剧 《 老 九 门 》 
图 2-3$ 展 示 的 是 热 播 剧 《 老 九 门 》 初 映 时 百度 搜索 指数 时 间 序 列 图 。 从 这 张 图 


上 ， 能 够 明显 看 出 "周期 ?规律 ， 原 因 是 该 剧 每 周一 和 周二 播 出 ， 因 此 周一 和 周二 的 
搜索 会 出 现 一 个 波峰 ， 呈 现 出 周期 规律 。 





5 1 同 组 9 月 


图 2-35” 热 剧 《 老 九 门 》 百 度 搜索 指数 
例 2-10 “国民 老公 ? 张 继 科 


里 约 奥运 会 结束 之 后 ， 迷 妹 们 忙 得 不 知道 选 谁 当 * 老 公 * 好 。 图 2-36 是 当时 新 
普 “ 国 民 老公 ” 张 继 科 的 百度 搜索 指数 时 间 序列 图 。 与 图 2-35 不 同 的 是 ， 这 张 图 没有 
明显 的 周期 规律 ， 而 是 出 现 了 两 个 非常 明显 的 “波峰 "。 当 时 正 值 奥运 会 ， 所 以 张 继 
科 的 搜索 量 突 增 。 
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图 2-36” 张 继 科 百度 搜索 指数 
由 例 2-9 和 例 2-10 可 以 看 出 折线 图 的 三 大 特点 : 


第 一 ， 看 趋势 。 指 标 随 看 时 间 的 变化 ， 呈 现 好 增 、 好 减 还 是 持平 的 趋 女 。 


本 
索 指 效 ) 。 


第 二 ， 看 突 友 事件 。 指 标的 取 值 是 任 因为 示 个 事件 的 友 生 ， 出 现 波峰 或 者 小 
谷 《〈《 例 如 张 继 科 的 搜索 指数 ) 。 


万 外 ， 折 线 赂 也 可 以 用 来 对 比 多 个 指标 的 变化 ， 也 殉 是 一 张 独 里 有 多 条 折 





例 2-11 北京 的 哥 的 忙碌 时 段 


图 2-37 是 北京 市 出 租车 在 工作 日 和 周末 每 小 时 接 单 数 的 时 间 序 列 图 。 从 图 中 可 
以 看 出 : 《1) 工作 日 和 周末 出 租车 每 小 时 接 单 数 变 化 起 势 相 同 ， 有 两 个 局 峰 ， 分 


川 征 
上 午 9 点 到 下 午 1 点 以 及 晚上 6 一 8 点 ; (2) 在 上 午 8 点 到 下 午 2 点 的 时 间 段 ， 出 


租车 工作 日 接 单数 大 于 周末 接 单 数 ，(3) 在 凌晨 时 段 ， 周 末 的 接 单 数 多 于 工作 
日 。 这 从 一 定 程度 上 反映 了 人 们 在 工作 日 和 周末 的 出 行规 律 。 
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图 2-37 ”工作 日 和 周末 的 出 租车 小 时 接 单数 折线 图 

需要 注意 的 是 ， 经 济 指标 的 变化 趋势 惯用 柱状 图 ， 而 非 折线 图 。 这 里 没有 就 


对 台 错 ， 主 要 看 个 人 使 用 习惯 。 图 2-28 是 根据 国家 统计 局 数据 ， 男 出 的 民用 汽车 拥 
有 量 随时 间 变 化 的 柱状 角 ， 柱 高 代表 民用 汽车 拥有 量 ， 本 质 上 跟 折 线 疼 一 个 道 
.| 





民用 汽车 拥有 基 ( 万 揪 ) 


S000 3000 10000 12000 14000 


2000 4000 


2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 
年 份 
图 2-38 ”2005 一 2014 年 民用 汽车 拥有 量 
最 后 展示 儿 张 丑陋 的 折线 图 ( 见 图 2-39)〉 ， 并 进行 点 评 。 
(1) 左上 图 :一 根 线 球 在 至 中 ， 让 人 不 明 所 以 。 不 妨 对 纵 轴 展 示范 围 进行 调 


(2) 石上 图 : 三 根 折线 两 个 纵 烛 ， 让 人 难以 比较 。 
(3) 左下 图 : 少 了 纵 轴 标题 ， 模 轴 标 签 过 于 密集 。 
(4) 左下 图 : 只 能 用 一 个 词 来 表达 : 一 团 乱 兵 。 如 果 有 太 多 的 信息 想 要 表 


达 ， 而 且 非 要 在 一 个 图 中 ， 就 是 这 个 效 末 。 


关键 关 ' 军 物 莱 击 上 
Eo 轩辕 于 避 关 各 上 


J 膨 :… 量 :一 攻 
第 元 起 理 香 睛 @ 再 时 大 此 














7 py gh 


3 一 = 再 辐 本 要 月 晤 一 一直 区 持 名 


关键 轩 “家教 ”点 击 量变 化 局 势 


me 
Se 


Eeei 到 人 恒 严 是 【万 助 ) 
i 的 


= 


| | 
ee s | 





图 2-39 一 组 不 美观 的 折线 图 示例 





图 2-40 ”一 组 散 点 图 示例 





散 点 图 是 用 于 展示 两 个 (连续 型 变量 的 一 种 常用 统计 图 。 


散 点 图 中 的 每 一 个 点 ， 由 模 纵 两 个 坐标 值 组 成 。 从 散 点 图 图 2-40 中 可 以 解读 两 
个 变量 的 相关 关系 : 正 线性 相关 《左上 ) 、 负 线性 相关 《右上 ) 、 非 线性 相关 
(左下 ) 、 不 相关 “〈 右 下 ) 。 需 要 注意 的 是 ， 相 关 关 系 不 等 于 因果 关系 ， 人 们 淘 
求 因果 关系 ， 但 常用 的 许多 统计 工具 〈 回 归 分 析 等 ) ， 探求 的 只 是 相关 关系 。 


除了 已 知 的 两 个 变量 ， 当 数据 中 还 有 其 他 变量 信息 时 ， 可 以 通过 改变 “点 ”的 羚 
色 、 形 状 和 大 小 来 传递 更 多 的 信息 。 在 网 2-41 [1] 中 ， 模 轴 是 信用 卡 账户 余额 ， 纵 
轴 是 年 收入 。 公报 尽 图 上 看 ， 两 个 变量 之 间 没 有 了 明显 的 相关 性 。 除 此 之 外 ， 还 有 
第 三 个 变量 是 人 否 违 约 。 将 违约 用 户 用 橙色 的 十 学 表 示 ， 非 违约 用 户 用 览 色 
的 圆 净 表示 。 能 够 看 出 ， 两 关 人 和 群 的 信用 卡 余 额 有 看 十 分 明显 的 兰 询 ， 但 在 年 收 
大 外 入 朋 关 省 : 














从 艇 点 图 上 ， 还 能 肥 现 一 些 “ 卉 种 ”的 信息 ， 也 融和 是 " 离 群 点 "。 在 车 联网 行业 
中 ， 可 以 通过 车 上 设备 获得 汽车 的 实时 车速 ( 以 秒 计 )。 图 2-4 2 是 一 段 路 程 的 前 
后 时 速 艇 氮 图 。 横 轴 是 峙 刻 的 时 速 ， 纵 轴 是 〈t 十 1) 时刻 的 时 速 。 可 以 看 出 ， 当 
前 时 刻 的 车速 跟 下 一 时 刻 的 车 速 是 高 度 线性 正 相 关 的 。 同 时 也 能 看 到 一 个 明显 
的 “ 离 群 值 ”， 疑 似 古 一 个 “总 璋 车 ”行为 。 


当 数 据 中 有 多 个 连续 型 变量 时 ， 可 以 两 两 男 散 氮 几 ， 形 成 居 氮 图 " 定 孟 ”。 疼 2- 
43 展 示 的 旦 总 尾 化 的 号 上 户 长 度 、 导 放宽 度 、 兹 淤 长 度 和 人 花 锥 宽度 的 艇 点 图 年 阵 。 
同时 还 用 闫 色 区 分 了 三 个 不 同 的 品种 。 
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图 2-41 ”账户 余额 与 年 收入 敢 所 图 


# 上 | 











图 2-42 ”tt 时 刻 和 t 十 1 时 刻 车 速 散 点 图 


然而 ， 如 条 数据 中 有 很 多 连续 型 变量 ， 敢 点 图 窍 阵 会 让 人 抓 不 到 重点 。 这 时 
可 以 两 两 计算 相关 系数 。 壮 憾 的 是 ， 如 来 把 相关 系数 的 数值 展示 成 沧 阵 ， 并 不 下 
观 。 在 此 ， 可 以 将 相关 系数 矩阵 可 视 化 。 图 2-44 展 示 的 是 “英超 进 球 谁 最 强 ” 的 相关 
系数 短 阵 图 。 图 中 的 “ 圆 峰 ” 越 大 ， 相 关 性 越 剖 。 越 接近 深 焉 色 ， 代 表 正 相关 性 越 
吗 ; 越 接近 深 红色 ， 代 表 负 相关 性 越 吕 。 对 角 线 都 旦 深 监 色 的 大 圆 北 ， 这 是 因 为 
一 个 变量 跟 目 己 的 相关 系数 是 1。 通 过 相关 系数 是 阵 狗 ， 可 以 迅速 得 到 一 组 变量 的 
相关 关系 的 大 致 情况 。 


Rndersons Iris Data — 3 5pettes 





图 2-43 ”一 个 敌 点 图 矩阵 示例 





注释 


[1| Gareth James, Daniela Witten, Trevor Hastie, Robert TibshiranlAn Introduction 
to Sta - tistical Learnmeg.Springer, 2013. 


箱 线 图 


箱 线 图 (boxplot〉 是 一 种 针对 连续 型 变量 的 统计 图 。 但 是 ， 要 夯 好 很 不容 吻 。 
首先 看 一 个 长 相 标致 的 箱 线 图 〈 见 图 2-4$) 。 该 图 模拟 了 一 个 样本 数据 ， 假 设 


挟 和 学 生 的 期 末 乔 试 得 分 。 
根据 图 2-45， 可 以 看 出 箱 线 图 的 基本 三 要 系 : 





(1) 箱子 的 中 间 一 条 线 ， 是 数据 的 中 位 数 ， 代 表 了 样本 数据 的 平均 水 平 。 
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一 个 相关 系数 答 阵 示例 








图 2-45 ”学生 期 末 考 试 得 分 箱 线 图 
(2) 箱子 的 上 下 限 ， 分 别 是 数据 的 上 四 分 位 数 和 下 四 分 位 数 ， 意 味 着 箱子 包 





含 S0% 的 数据 。 因 此 ， 和 箱子 的 高 度 在 一 定 程 度 上 反映 了 数据 的 波动 程度 。 


(3) 在 箱子 的 上 方 和 下 方 ， 又 各 有 一 条 线 。 有 时 代表 最 大 或 最 小 值 ， 有 时 会 
有 一 些 点 " 冒 出 去 ”。 如 打 有 点 冒 出 去 ， 应 理解 为 “ 卉 向 值 ”。 


责 要 注意 的 和 是， 虽然 箱 线 图 也 能 看 分 布 的 形态 ， 但 人 们 更 习惯 从 和 直方 铭 去 解 
读 分 布 的 形态 ， 而 非 箱 线 图 。 加 入 会 员 微 信 whair004 


例 2-12 不 是 所 有 的 数据 部 适合 男 箱 线 图 


图 2-46 展 示 的 三 个 箱 线 图 看 看 并 个 舒服 ， 主 要 原因 是 ， 箱 子 被 压 得 很 届 ， 其 全 
只 剩 下 一 条 线 ， 同 时 还 存在 很 多 刺眼 的 卉 第 什 。 这 种 情况 的 出 现 有 两 个 党 匈 的 诛 
因 : 一 是 桩 本 数据 中 ， 存 在 特别 大 或 者 特别 小 的 卉 种 什 ， 这 种 离 群 的 表现 ， 导 致 
箱子 整体 被 压 因 ， 反 而 凸显 出 这 些 寞 弟 ， 二 是 样本 数据 特别 少 ， 数 据 少 就 有 可 能 
出 现 各 种 诡异 的 情况 ， 导 人 儿 统 村 图 很 不 美观 。 
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图 2-46 一 组 不 关 观 的 御 线 图 示例 


如 条 男 出 的 箱 线 狗 如 网 2-4 ”6 中 的 那样 ， 有 两 个 解决 办 法 : 第 一 ， 如 打数 据 取 
值 为 正 数 ， 那 么 可 以 竹 试 做 对 数 变 换 。 对 数 变 换 可 谓 是 画图 界 的 整容 神 右 ， 专 门 
解决 各 种 不 对 称 分 布 、 非 正 态 分 布 和 异 方差 现 象 等 问题 。 


RE 
箱 线 图 。 
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图 2-47 ”对 数 变 换 后 的 御 线 图 
例 2-13 ” 箱 线 图 应 该 怎么 用 


箱 线 图 的 用 法 是 ， 配 合 定 性 变量 画 分 组 箱 线 图 ， 作 比较 。 如 果 只 有 一 个 定量 
变量 ,很 少 用 一 个 箱 线 图 去 展示 其 分 布 ， 更 多 选择 下 方 图 。 箱 线 图 更 有 效 的 使 用 
方法 是 作 比 较 。 


假设 要 比较 男女 教师 的 教学 评估 得 分 ， 用 什么 工具 最 好 ? 箱 线 图 。 从 图 2-48 可 
以 看 出 ， 箱 线 图 明显 更 加 有 效 ， 能 够 从 平均 水 平 〈“ 中 位 数 ) 、 波 动 程度 《箱子 局 
度 ) 以 及 弄 瘦 值 对 男女 教师 的 教 竺 评 信 得 分 进行 比较 ， 而 直方 图 却 做 不 到 。 


假设 共 涉 及 3 个 变量 : 定量 变量 是 牙 次 生长 长 度 ， 体 现在 图 形 的 纵 坐 标 ， 也 束 
征 箱子 展示 的 内 容 。 第 一 个 定性 变量 羡 维 生 系 C 的 剂量 ， 三 个 水 平 〈0.Smg，1lmg 和 
2mg) ， 体 现在 横 坐 标 ， 所 以 一 共有 3 组 箱 线 狗 ;第 二 个 定性 变量 是 食用 的 食物 ， 
挟 维 生 素 C 还 旦 橙 江 ， 分 别 用 真 色 和 橙色 展现 ， 所 以 每 组 箱 线 图 里 又 包 仿 两 个 箱 
了 了。 
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图 2-48 ” 箱 线 图 的 对 比 作用 


牙齿 生长 长 度 





0.s 0.5 2 2 


I | 
维生素 C 使 用 剂量 (mg) 
图 2-49 一 个 美观 的 箱 线 图 示例 


从 图 2-49 可 以 看 出 : (1) 随 看 使 用 剂量 的 增加 ， 不 党 食用 的 十 哪 种 食物 ， 牙 
齿 生 长 长 度 的 平均 水 平 〈“ 中 位 数 ) 者 在 增加 。 (2)〉 妆 使 用 剂量 为 ” 0.Smg 和 1lmg 


时 ， 食 用 橙汁 带 来 的 牙齿 生长 的 平均 长 度 〈 中 位 数 ) 要 比 食用 维生素 C 高 ， 波 动 程 
度 也 相应 更 大 。(3〉 当 使 用 剂量 为 2mg 时 ， 食 用 两 种 食物 带 来 的 牙齿 生长 平均 水 
平 (中 位 数 ) 相当 ， 食 用 维生素 C 带 来 的 牙齿 生长 长 度 波动 相对 更 大 。 


至 时 图 


本 万 将 通过 以 欧洲 杯 为 痛 景 的 综合 条 例 ， 对 比 儿 种 统计 图 ， 同 时 还 会 介绍 一 
种 很 少 用 到 的 统计 图 : 圣 叶 图 。 


图 2-50 展 示 的 古 原始 数据 的 一 部 分 ， 我 们 从 腾讯 网 手动 收集 了 2016 年 欧洲 杯 小 
组 完 稚 全 2016 年 6 月 18 写 的 进 球 数 据 ( 共 42 个 进 球 ) 。 第 一 列 是 每 一 个 进 球 的 肥 生 
时 间 ， 也 瓯 是 这 个 进 球 有 发 生 在 第 几 分 钟 。 第 二 列 在 更 粗 一 点 的 时 间 段 ， 上 半 场 、 
下 兴 场 还 是 伤 售 补 时 。 对 这 个 数据 做 分 析 ， 主 要 是 想 看 看 进 球 时间 的 分 布 规律 ， 
分 析 过 程 可 以 由 粗 人 到 细 地 推进 。 





站 B 
1 | 进 球 时 间 时 间 段 
2 57 下 举 场 
| 65 下 半 场 
4 | 89 下 兴 场 
5 | 局 上 兴 场 
6 | 10 上 半 场 
| 61 下 半 场 
8 | 81 下 半 场 
9 | 73 下 半 场 
10 | 92 伤 停 补 时 
11 41 上 尘 场 


图 2-50” 进 球 时 间 的 部 分 原始 数据 
第 一 步 : 饼 图 
主要 看 上 下 半 场 以 及 伤 停 补 时 的 进 球 分 布 。 
从 图 2-51 可 以 看 出 ， 超 过 一 半 有 的 进 球 部 友 生 在 下 半 场 。 为 外 ， 伤 停 伞 时 是 个 关 


键 的 时 段 ， 有 14.29% 的 进 球 友 生 在 那 短 短 的 儿 分 钟 。 所 以 如 果 你 没有 时 间 看 全 
场 ， 那 么 上 半 场 可 以 直接 快 进 了 。 
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14.29%0 





图 2-51 ” 进 球 时 段 分 布 饼 图 
第 二 步 : 柱状 图 


主要 看 更 加 细 分 的 时 间 段 内 进 球 的 分 布 。 





从 图 2-52 可 以 看 出 ， 将 时 间 以 1 5 分 钟 为 间 隅 进行 划分 ， 前 30 分 钟 是 进 球 数 最 
少 的 时 间 段 。 后 面 的 每 个 15 分 钟 区 间 中 ，45 一 60 分 钟 时 间 段 进 球 最 多 。 最 后 的 伤 
停 补 时 阶段 《90 十 ) 发 生 了 8 个 进 球 ， 完 全 不 逊色 于 其 他 时 间 段 ， 看 来 这 届 了 欧洲 杯 


上 总 了 许多 精彩 绝 杀 。 


第 三 步 : 直方 图 


把 时 间 看 做 连续 的 ， 可 以 男 出 更 加 细致 的 百 方 图 《上 见 图 2-33) ， 可 惜 并 不 关 。 


第 四 步 ， 茎 叶 图 


译 叶 图 可 以 同时 展示 原 妈 数 据 和 分 布 的 形状 ， 图 形 由 “ 蕉 ” 和 “时” 两 部 分 组 成 。 





通 币 以 数据 的 高 位 数字 作为 树 双 ， 


图 2-54 所 示 。 


低位 数字 作为 树叶 。 进 球 ”时间 数 据 的 至 叶 图 如 


进 球 数 
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图 2-52” 进 球 时 间 分 布 柱状 图 
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图 2-53 ” 进 球 时 间 分 布 柱状 图 


图 2-54 直 接 展示 了 原始 数据 ，“ | ”左边 的 数字 是 进 球 时 间 的 十 位 数 ， 这 
是 “入 ”。“ | 2 右边 的 数字 是 进 球 时 间 的 个 位 数 ， 在 相应 时 段 出 现 了 儿 个 进 球 ， 吏 会 
列 出 几 个 ， 这 是 “时 ”。 以 第 4 行为 例 ， 在 30 一 40 分 钟 的 时 段 内 ， 进 了 6 个 球 ， 分 别 是 
1 个 31 分 钟 、2 个 32 分 钟 、1 个 34 分 钟 和 2 个 37 分 钟 。 从 图 2-55 还 能 看 出 来 ， 目 前 为 
止 ， 本 届 欧 洲 杯 最 快 的 进 球 是 开场 后 $ 分 钟 〈 来 自 瑞士 队 的 卫 沙 尔 ) 。 如 果 妮 茎 叶 
图 不 好 看 ， 可 以 改进 一 下 ， 如 图 2-55 所 示 。 
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图 2-54” 进 球 时 间 茎 叶 图 
时 | 上司 ( 分 钟 ) 


日 -1 N10-20 20-30 30-40 40-50 50-60 60-70 /0-80 80-90 90+ 
上 下 梅生 站 三 PT 和 i 
让 二 wt 二 ve WE 和 让 (人 和 D i J ha Pr 
Fi [i FM 这 站 
遇 是 | ws 本 -本 本 二 全 “二 站 ws 二 a 

i i i 3 
FF Ne | 
了- 时 是 和 人 os 本 证 机。 
下 本 证 下 本 和 
本 于 本 .时 
1 3 | [于 白 了 3 名 总 


图 2-55 ”改进 后 的 芭 叶 图 


第 三 草 / Chaper Three 回归 分 析 


回归 分 析 是 实现 从 数据 到 价值 的 不 二 法 门 。 本 章 将 学 习 什 么 是 回归 分 机 ， 有 
哪 至 帅 匈 的 回归 分 析 模 型 ， 适 用 于 什么 梓 的 数据 闫 型 ， 可 以 文 撑 什 么 样 的 业务 应 
用 。 





什么 是 回归 分 析 ? 





在 “过 ”的 层面 ， 回 归 分 析 是 一 种 重要 的 思想 ， 在 它 的 指 村 下 ， 我 们 将 一 个 业务 
问题 (或 者 科学 问题 定义 成 一 个 数据 可 分 析 问 题 。 在 “ 术 ” 的 层面 ， 回 归 分 析 残 古 
各 种 各 样 的 统计 条 模型 。 回 归 分 析 主 要 包括 五 种 类 型 :线性 回归 、0-1 回 归 、 定 序 
正和 归 、 计 数 回 归 ， 以 及 生存 回归 ， 称 为 “回归 五 式 ”。 


线性 回归 ， 更 严格 地 说 是 普通 线性 回归 ， 其 主要 特征 是 : 因 变 量 了 必须 是 连续 
型 数据 ， 而 对 解释 性 变量 X 没有 太 多 要 求 。 典 型 的 连续 型 数据 包括 身高 、 体 重 、 价 
格 、 温 度 等 。 但 是 ， 在 实际 工作 中 ， 所 有 的 计算 机 都 只 能 存储 有 限 位 有 效 数 字 。 
因此 ， 在 真实 的 数据 世界 中 ， 不 存在 严格 的 连续 型 ”数据 ， 只 有 近似 的 。 普 通 线性 
加 归 在 数据 世界 中 ， 可 以 应 用 于 股票 投资 、 客 户 终 呈 价值、 医疗 健康 等 领域 。 


第 二 式 : 0-1 回 归 


0-1 回 归 束 是 因 变 量 Y 是 0-1 型 数据 的 回归 分 析 模 型 。0-1 型 数据 是 指 只 有 两 个 可 
能 取 值 的 数据 茯 型 。 人 例如， 性 别 ， 只 有 “ 勇 ?或 者 “ 女 ” 两 个 取 值 ;消费 者 的 购买 决 
筑 ， 只 有 “ 买 ? 或 者 “不 买 ?两 个 取 值 ， 病 人 的 癣 证 诊断 ， 只 有 “得 癣 症 ? 或 者 “不 得 辣 
ea 
第 二 式 : 0-1 回 归 。 


0-1 型 的 因 变 量 又 包含 了 众多 招数 ， 其 实 大 同 小 开 ， 最 稼 匈 的 有 两 招 : 一 招 是 
馆 辑 回归 ， 也 叫 Logistic Regression; 男 外 一 招 是 Probit Re - gression。 相 天 的 重要 应 
用 很 多 ， 并 且 都 很 时 艇 有 趣 ， 比 如 互联 网 征 信 、 个 性 化 推荐 、 社 交 好 友 推 荐 等 。 


第 三 式 : 定 序 回 归 


定 序 回归 就 是 因 变 量 7 为 定 序数 据 的 回归 分 析 柑 型。 定 序数 据 就 是 关乎 顺序 的 
数据 ， 但 是 又 没有 县 体 的 数 人 意义。 例如， 狗熊 会 出 品 一 秋 狐 的 矿 录 水 ， 叫 做 “ 狗 
能 山 录 ， 有 点 成”。 现 在 想 知道 消费 者 对 它 的 豆 好 程度 ， 因 此 次 定 请 人 来 品 答 ， 根 
据 有 其 喜好 程度 ， 给 出 一 个 打分 。1 表 示 非 营 不 辟 欢 ，2 表 示 有 氮 不 豆 欢 ，3 和 表示 一 般 
般 ，4 表 示 有 扣 可 欢 ，5 表 示 非 第 吾 欢 。 这 就 是 人 们 关心 的 因 变 量 Y。 这 种 数据 很 沼 























匈 ， 有 以 下 两 个 特点 : 


第 一 ， 设 有 效 值 意义 ， 不 能 做 任何 代数 运算 。 例 如 ， 不 能 做 加 法 。 不 能 
次 ，1《 非 党 不 哥 欢 ) 加 上 一 个 2 有 扩 个 豆 欢 ) 届 然 等 村 3〈 一 般 和 股 ) 。 这 显然 不 
对 。 这 束 是 该 数据 的 第 一 个 特 操 ， 没 有 其 体 的 数值 意义 。 


第 二 ， 顺 序 很 重要 。 例 如 ，1《 非 疝 不 喜欢 ) 丈 一 定 要 排 在 2〈 有 点 个 喜欢 ) 
的 南面 ， 而 2《〈 有 扣 不 喜欢 ) 丈 必 须要 排 在 3《〈 一 般 般 ) 的 表面 。 这 个 顺序 很 重 
有 要， 这 束 是 为 什么 称 其 为 “ 定 序数 据 ”。 


定 序 回归 第 见 的 应 用 场景 如 : 各 种 天 于 消费 者 仿 好 的 市 场 调 研 〈 人 丁克 特 1~5 
点 量 表 ) ; 豆 兴 上 对 电影 的 打分 评级 (1~5 分 ); 电 商 平台 上 对 商品 或 商家 的 满 
意 程 度 〈1 一 $ 秆 星 ) ; 在 医学 应 用 中 ， 有 上 坚 重 要 的 心理 相关 的 疾病 《如 抑 邦 省) 
也 会 涉及 定 序 数据 等 。 


第 四 式 : 计数 回归 
如 由 因 变 量 Y 是 一 个 计数 数据 ， 那 么 对 应 的 回归 分 析 柑 型 束 古 计数 回归 。 什 么 


是 计数 数据 呢 ? 就 是 数 数 的 数据 。 例 如 ， 谁 家 有 几 个 孩子 ， 养 了 几 条 狗 。 这 样 的 
数据 有 什么 特点 ”既然 是 效 数 ， 殉 必须 是 非 负 的 整数 。 不 能 是 负数 ， 说 谁 家 有 人 负 3 








个 孩子 ， 没 这 事 ;， 不 能 是 小 数 ， 说 谁 家 养 了 1.2 5 只 小 狗 ， 也 没 这 说 法 。 
计数 数据 常见 的 应 用 有 哪些 呢 ? 客户 关系 管理 中 ， 有 一 个 经 典 的 REFEM 模 型 ， 





其 中 这 个 E， 融 是 frequency， 指 的 是 一 定时 间 内 客户 到 访 的 次 数 。 可 以 是 0 次 ， 也 

可 以 是 1 次 、2 次 、 很 多 次 。 但 是 ， 不 能 是 一 2 次 ， 更 不 能 是 2.3 次 。 医 学 研究 中 ， 一 
个 间 症 病人 体内 肿瘤 的 个 数 : 0 是 疫 有 ， 也 可 以 是 1 个 、2 人 个， 或 者 很 多 个 。 社 会 研 
究 中 ， 二 孩 政 寅 放 开 ， 一 对 夫妻 最 后 到 反选 择 生 育 多 少 个 护 子 呢 ? 可 以 是 0 个 、1 

个 ， 也 可 以 是 2 个 ， 但 是 ， 不 能 是 一 2 个 ， 也 不 能 是 0.7 个 。 


第 五 式 : 生存 回归 


生存 回归 是 生存 数据 回归 的 简称 ， 即 因 变 量 Y 为 生存 数据 的 回归 分 析 模 型 。 其 
中 生存 数据 就 是 刻画 一 个 现象 或 个 体 存 续 生 存 了 多 久 ， 也 束 古 单 说 的 生存 时 间 。 
为 此 需要 清晰 定义 : 什么 是 “出生 ”? 什么 是 “死记 ”? 


以 人 的 目 然 出 生 为 “出 生 ”*"， 以 人 有 的 目 然 死亡 为 “死亡 ”"， 束 定义 了 一 个 人 的 寿 
命 ， 这 就 古 一 个 典型 的 生存 数据 ， 访 数据 对 寿险 糊 算 非 第 重要 ;以 一 个 电子 产品 
《例如 灯泡 ) 第 一 钦 使 用 为 “出 生 ， 最 后 报废 为 “ 死 ” 亡 ” 整定 义 了 产品 的 使 用 寿 
命 ) 以 一 个 消 颖 者 的 注册 成 为 会 员 为 “出 生 ”，a 到 条 天 流失 不 再 登录 为 “死亡 ”"， 束 定 
义 了 一 个 消费 着 的 生命 周期 ， 以 一 个 企业 的 工商 注册 为 “出 生 ”， 和 破产 注销 为 " 死 
E”， 束 刻画 了 企业 的 生存 时 间 ;， 以 一 个 创业 团队 获得 A 轮 融资 为 “出生 ”， 创 业 板 
上 市 为 “死亡 ”( 请 注意， 这 是 一 个 开心 的 死亡 )， 束 刻 夯 了 风险 投资 回报 的 周期 。 
由 此 可 见 ， 生 存 数 据 无 处 个 在 。 


生存 数据 看 起 来 是 一 个 连续 型 数据 ， 那 么 为 什么 不 用 线性 回归 呢 ? 如 条 生存 
数据 古人 被 精确 观察 到 的 ， 那 么 普通 线性 回归 确实 可 以 用 来 分 析 生 存 数 据 。 但 问题 
征 生 存 数 据 有 可 能 并 未 被 业 确 观测 到 。 














以 人 的 寿命 为 例 ， 在 抽样 调 谷 过 程 中 ， 隔 壁 老 王 被 抽 中 。 老 王 今 年 60 多 ， 喘 
体 倍 儿 棒 ， 吃 嘱 听 香 ， 核 心 问 题 是 他 还 好 好 地 活 看 。 因 此 ， 他 的 最 终 友 合并 不 为 
人 所 知 。 但 可 以 确定 的 是 ，Y 一 定 比 60 大 。 这 是 一 个 至 贵 的 信息 。 所 以 ， 在 数据 上 
把 了 记 作 60 十 。 只 要 数据 后 面 跟 肴 一 个 “十 ”， 就 表明 真实 的 数值 比 这 个 大 ， 但 是 大 
aN 这 种 数据 称 作 截断 的 数据 (censored data) 。 这 就 是 生存 数据 最 独特 
J 地 方 。 


全 此 ， 丈 把 五 种 最 沼 见 的 回归 分 析 柑 型 的 基本 框架 介绍 完了 。 接 下 米 ， 将 绽 
合 个 同 的 实际 条 例 ， 进 一 步 展 示 它 们 各 目 有 的 有 趣 应 用 。 


温 惟 提醒: 进入 狗熊 会 公众 号 〈CIuBear) 输入 文字 :“ 五 式 ”， 听 能 大 音频 ! 


线性 回归 一 一 北京 市 二 手 房 房 价 


二 手 房 时 代 


北京 市 房地产 市 场 是 我 国 最 为 发 达 、 最 具有 代表 性 的 房地产 市 场 乙 一 。 和 截至 
2016 年 5 月 25 日 的 北京 住宅 年 内 交易 数据 显示 ， 北 京 市 二 手 房 交易 占 市 场 住宅 成 交 
比例 高 达 86.2%， 北 京 楼 市 已 经 全 面 进 入 二 手 房 时 代 。 


数据 来 源 和 说 明 


本 案例 所 关心 的 因 变 量 Y 是 单位 面积 房价 (万 元 /平方 米 ) 。 二 手 房 的 市 场 价 
格 是 多 种 因 双 综合 作用 的 结果 ， 本 宁 例 收集 了 某 二 手 房 中 介 网 站 的 16210 食 在 售 二 
手 房 相关 数据 ， 对 二 手 房 房价 的 相关 影响 因素 展开 人 研究。 


所 有 的 X 变量 如 表 3-1 所 示 ， 主 要 分 为 内 部 因 系 和 区 位 因 系 两 部 分 。 其 中 内 部 
央 系 包括 房屋 面积 、 臣 室 数 、 厅 数 、 楼 屋 ， 区 位 因 系 包括 所 属 城区 、 是 人 奋 邻 近 地 
铁 、 是 奋 学 区 房 三 个 因 系 。 由 于 数据 限制 ， 没 有 能 够 考虑 更 多 的 相关 指标 〈 例 
如 ， 交 通 、 商 疾 、 医 疗 、 教 育 等 ) 。 显 然 ， 这 些 因 系 部 古音 要 的 ， 是 本 采 例 可 以 
显 考 改进 的 方 癌 。 


表 3-1 数 据 变 量 说 明 表 
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建 模 时 处 理 成 
是 否 有 客厅 
相对 楼 层 
月 
这 朝阳 区 、 东 城区 、 
量 丰台 区 、 海 淀 区 、 
石景山 区 、 西 城区 
1 代表 临近 地 铁 ; 82.78 儿 邻近 
0 代表 不 临近 地 铁 地 铁 
1 代表 学 区 房 ; 30. 31% 为 
0 代表 非 学 区 房 学 区 房 





二 手 房价 格 


从 百 方 图 《〈 见 图 3-1) 可 以 看 出 ， 单 位 面积 房价 呈现 右 全 分布。 有 共 体 来 说， 单 
位 面积 房价 的 均值 为 6.12 万 元 / 平方 米 ， 中 位 数 为 5.74 万 元 / 平方 米 。 这 一 现象 符 
合 对 于 房价 的 基本 认 知 ， 即 存在 少数 天 价 房 ， 从 而 拉 高 了 房价 的 平均 水 平 。 
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图 3-1 年 位 面积 房价 直方 多 


在 本 案例 中 ， 单 位 面积 房价 的 最 小 值 为 1.8 3 万 元 /平方 米 ， 所 对 应 的 房屋 是 
丰台 区 东山 坡 三 里 的 一 套 两 居室 ， 总 面积 为 100.83 平 方 米 ;最 大 值 为 14.99 万 元 / 
平方 米 ， 所 对 应 的 房屋 是 西城 区 金融 街 的 一 套 三 居室 ， 总 面积 为 77.40 平 方 米 。 


拍 述 性 分 析 
首先 看 内 部 因素 ， 从 分 组 箱 线 图 《如 图 3-2) 可 以 看 出 ， 卧 军 数 、 厅 数 、 楼 层 


对 于 单位 面积 房价 的 影响 并 不 明显 ， 而 房屋 面积 与 单位 面积 房价 则 存在 一 定 的 负 
相关 ， 相 关系 数 为 一 0.07， 关 系 显 知 。 
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图 3-2 ”内 部 因 和 对 的 单位 面积 房价 箱 线 和 网 


再 看 区 位 因素 ， 从 分 组 箱 线 图 〈( 见 图 3-3 和 图 3-4)〉 可 以 看 出 : (1) 不 同城 区 
的 房屋 单位 面积 房价 差异 较 大 ， 西 城区 、 海 淀 区 和 东城 区 的 单位 面积 房价 明显 偏 
局 ; (2) 学 区 房 和 地 铁 房 的 单位 面积 房价 侦 高 。 


单位 面积 房价 (万 元 /平方 数 ) 





石景山 区 丰台 区 朝阳 区 ”东城 区 海淀 区 西城 区 
图 3-3 ”各 城区 的 里 位 面积 房价 箱 线 图 
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图 3-4 ”公共 交通 资源 〈 地 铁 ) 、 学 区 资源 与 单位 面积 房价 的 关系 


综 上 上 所 述 ， 通 过 对 本 案例 数据 的 搞 述 性 分 机 ， 可 以 推测 : 对 单位 面积 房价 可 
能 会 产生 影响 的 因 妹 包括 区 位 因 隶 〈 城 区、 地 铁 、 学 区 ) 和 内 部 因素 《“ 卧 军 数 、 
征 合 有 客厅 、 面 积 、 楼 层 ) ; 从 影响 作用 来 看 ， 区 位 因 系 比 内 部 因素 更 为 明显 。 


为 了 更 深入 地 分 析 各 因 妹 对 二 手 房 房价 的 影响 ， 本 守 例 将 建立 单位 面积 房价 
天 于 区 位 因素 和 内 部 因素 的 回归 模型 ， 便 用 量化 的 方式 更 为 精细 地 刻 男 两 方面 因 
系 的 影响 大 小 ， 并 且 试 铬 使 用 该 模型 来 预测 二 手 房 房 价 。 

器 归 分 析 

在 数据 建 模 部 分 ， 本 采 例 层 层 推进 地 建立 了 三 种 模型 (1) 伽 单线 性 回归 模 
型 ; (2) 对 数 线 性 回归 模型 ，(3) 带 有 交叉 项 的 回归 模型 。 下 面 展示 人 简单 线性 
器 归 模型 的 合计 结果 和 解读 〈( 见 表 3-2) 。 


表 3-2 线 性 回归 结果 


变量 

截 距 项 
城区 -丰台 

城区 -朝阳 

城区 -东城 
城区 -海淀 
城区 -西城 

学 区 房 

地 铁 房 
屡 层 -中 层 
楼 层 -低层 

有 和 客厅 

由 室 数 
房间 面积 

下 检验 户 值 一 0. 0001 油 整 的 民 一 一 


备注 


基准 组 : 石 时 山 组 


基准 组 ; 高层 

















在 控制 其 他 因素 不 变 时 ， 可 以 得 到 如 下 结论 : (1) 对 于 城区 这 一 变量 ， 石 景 
山区 单位 面积 房价 最 低 ， 西 城区 单位 面积 房价 最 高 ， 比 石景山 区 每 平方 米 平 均 高 
出 3.70 万 元 ; (2) 对 于 学 区 这 一 变量 ， 和 学 区 房 比 非 学 区 房 单位 面积 房价 平均 高 出 
1.18 万 元 ; (3) 对 于 地 铁 这 一 变量 ， 地 铁 房 比 非 地 铁 房 单位 面积 房价 平均 高 出 
6720 元 ; 〈4) 高 层 房屋 单位 面积 房价 最 低 ， 其 次 是 中 层 ， 低 层 房屋 单位 面积 房价 
最 高 ; (5) 有 客厅 的 房子 单位 面积 房价 更 高 ; 〈6) 卧 宇 数 每 增加 一 间 ， 单 位 面 
只 房价 平均 增加 1110 元 ; (7) 房屋 面积 的 增加 会 带 来 单位 面积 房价 的 降低 。 这 些 
结论 与 之 前 的 猜想 基本 符合 。 而 且 模 型 的 FF 检验 拒绝 原 假设 ， 说 明 建 立 的 模型 是 显 
车 的 ; 调整 的 R 2 为 0.59， 模 型 的 拟 合 程度 尚 可 接受 。 

总 分 与 讨论 

最 后 ， 本 案例 采用 了 带 有 交互 效应 的 对 数 线 性 模型 。 假 设 有 一 家 三 口 ， 父 母 
为 了 能 让 孩子 在 西城 区 上 学 ， 想 买 一 套 邻 近 地 铁 的 两 居室 ， 面 积 是 8$ 平 方 米 ， 低 
楼 层 ， 那 么 房价 大 约 是 多 少 呢 ? 根据 交互 模型 ， 预 测 到 的 单位 面积 房价 为 9.29 万 元 
/ 平方 米 ， 总 价 高 达 789.78 万 元 。 

由 于 房价 的 影 啊 因 北 有 很 多 ， 因 此 在 未 来 的 研究 中 可 以 考虑 在 模型 中 加 入 更 


多 因素 ， 比 如 小 区 位 置 ( 地 处 儿 环 )、 小 区 环境 如 绿化 情况 、 容 积 紊 等 ) 、 上 后 
边 配套 设施 《如 商 罗 、 医 院 等 ) 每 。 为 外 ， 厂 要 将 模型 推广 到 其 他 城市 ， 还 要 进 
一 步 六 虑 城市 特有 因 系 《如 在 旅游 城市 是 盏 为 海景 房 等 ) 。 


温 春 近 醒 : 进入 狗熊 会 公众 写 “CluBear) 输入 文字 :“ 二 手 房 ?， 听 水 妈 音 
频 ! 


线性 回归 一 一 中 国电 影 景 房 


中 国电 影 产 业 


中 国电 影 产业 正 处 于 高 歌 独 进 的 快车 道 。 据 中 国电 影 产 业 网 数据 显示 ，2016 
年 中 国电 影 票 房 达 4$7 亿 元 ， 略 超 2015 年 的 440 亿 元 票房 。I 了 电 景 乡 的 出 现 为 中 国电 
影 市 场 增加 了 不 少 票 房 收 益 ， 如 《 同 桌 的 你 》《 桩 子 花 开 》《 十 二 公民 》 等 电影 
未 上映 先 火 。 作 为 观 影 者 ， 如 果 没 和 必 听 说 过 了 了 电影 就 out 了 。 


数据 来 源 和 说 明 

本 案例 使 用 的 是 中 国电 影 发 行 放 映 协 会 统计 的 茶 年 上 度 年 棱 房 过 于 万 元 的 电影 
数据 ， 共 275S 个 样本 ， 数 据 包 括 电 影 票 房 、 影 片 类 型 、 发 行 方 等 13 个 变量 。 数据 说 
明 如 表 3-3 所 示 。 


表 3-3 数 据说 明 


1 010~127 200 


爱情 、 嘻 剧 等 14 种 
75~156 


电影 上 映 年 份 。 | 年 份 ，2010_2013 年 
上 映 档期 咒 风 档 、 里 期 档 、 
含 黄金 周 、 普 通 


明星 私企 、 Ss 一 明星 私企 ， 
国有 宣 发 公司 、 [二 小 私营 公司 
小 秘 冒 公司 、 C= 联合 发 行 ， 
联合 发 行 G 一 国有 宣 发 


电影 由 畅销 小 说 改编 改编 、 原 创 
还 是 原创 剧本 

影 是 否 为 具 人 只 事 

电影 是 否 为 翻 担 


导演 年 代 30 一 80 年 代 | 存在 缺失 值 
寅 、| 导 演 的 第 几 部 作品 [有 
2 是 、 否 
是 、 否 

0 一 84 936 存在 缺失 值 





公房 收入 


本 案例 的 因 变 量 Y 是 票房 收入 ， 其 直方 图 呈现 右 偏 分 布 ( 见 图 3-5) 。 票 房 最 
高 为 127168.1 万 元 ， 是 影片 《人 再 阅 途 之 泰国 》， 导 演 : 徐峥 ; 票房 最 低 为 
1010.16 万 元 ， 是 影片 《 准 起 手 来 (之 二 ) 退 击 阿 多 丸 》， 导 渗 : 冯小宁 。 不 过 ， 
电影 票房 过 2 亿 元 的 影片 数量 较 少 。 由 于 低 票 房 的 影片 数量 较 多 ， 从 而 降低 了 整体 
尺 斤 兴 房 罗平 均 水 于 


15U 
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票房 {而 殉 ) 
图 3-5 ”票房 收入 下方 图 
描述 性 分 析 


上 自 完 ， 对 月 份 进行 分 组 反 述 ， 晶 产 定 义 影 片上 映 档 期 ， 即 货 风 档 、 得 期 档 、 
普通 档 、 黄 金 档 1 期 〈 侣 "五 一 ) 、 真 金 档 2 期 〈 合 “二 一”) 。 从 图 3-6 中 可 以 清晰 
看 到 次 罗 档 的 平均 紧 房 比 其 他 档期 的 平均 肥 房 要 部 ， 而 贡 金 档期 的 平均 时 房 却 很 


不 理想 。 





加 入 会 员 做 信 whair004 





对 鸡 芭 议 


全 由 于 黄金 档 期 的 样本 晶 少 ， 所 
以 导致 平均 票房 最 低 。 

全 与 先 岁 档 比 较 ，《 致 青春 》 
“厨子 - 戏子 靖子 》《 叶 间 2: 
宗师 传奇 》 均 在 普通 档 上 了 映 ， 
其 票房 者 在 2 亿 元 以 上 . 





档 詹 ”扩容 格 。 轨 全 特 1 英 ”和 胃 全 性 2 山 ”站 通 特 暑期 层 


样本 量 ”大 3 3 4 0 
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图 3-6 


再 来 考察 IP 电 影 。 简 单 来 说 ，IP 就 是 知识 产权 ， 可 以 是 一 首 歌 、 一 部 网 络 小 
说 、 一 部 广播 剧 、 一 台 话 剧 ， 或 者 某 个 经 典 的 人 物 形 象 ， 哪 怕 只 是 一 个 字 、 一 个 


短语 ， 把 它们 改编 成 电影 ， 就 可 以 称 作 I “了 电影 ， 比 如 《柱子 花 开 》《 狼 图 腾 》 
《十 二 人 公民》 等 都 是 1 P 电 影 。 通 过 摘 述 性 分 析 ( 见 图 3-7) ， 可 以 看 到 IP 因 素 将 电 
影 的 平均 棱 房 推 问 了 新 的 高 度 ， 即 改编 的 真人 真 事 、 翻 拍 以 及 有 “是 ) 续集 的 电 
影 票房 都 高 于 虚构 的 、 非 翻拍 的 电影 。 比 如 样本 中 的 《人 再 癌 途 之 泰 回 》《 将 爱 
情 进 行 到 确 》《 叶 间 2: 宗师 传奇 》《 武 林 外 传 》 等 均 是 IP 电 影 。 
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比如 : 2013 年 《西游 降 
旧 马 } 树 局 高 这 12.5 己 。 
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最 后 看 寻 汗 因素 。 导 泪 是 一 部 电影 中 最 核心 的 元 系 ， 实 力 派 导 演 丰 盏 的 拍摄 
经 验 会 为 影片 增色 不 少 ， 有 一 些 观众 会 因为 导演 的 声望 而 去 关注 其 更 多 的 作品 。 
为 外 ， 从 沽 员 转 型 的 导 渤 比 导 演 会 沪 ， 比 沪 员 会 殷 ， 是 不 是 会 演 电 影 的 村 演 才 是 
好 导演 呢 ? 从 箱 线 图 〈( 见 图 3-8〉 的 插 述 结果 可 以 看 到 ， 获 过 奖 的 导演 的 电影 平均 
际 房 更 员 ， 比 如 样本 中 的 冯小刚 、 张 芯 识 、 周 星 驰 、 陈 弛 歌 等 均 是 获 过 交 的 导 
演 ; 从 澳 员 转型 的 导 渤 所 担 电影 的 平均 时 房 比 非 特 型 有 的 导演 所 拍 电影 的 平均 桶 房 
要 高 ， 比 如 样本 中 的 起 和 被、 人 徐峥、 冯德伦 等 均 是 从 演员 转型 的 导演 。 














时 福 其 奖 几 票 房 导 首 转型 Y3 票房 


























= 可 i | | 获 过 奖 的 导演 更 吸引 观众 或 者 
| : 观众 会 关注 他 更 多 的 作品 ， 
本 人 全 电影 的 导 滨 ， 才 是 好 导演 . 
E 量 
再 是 
Se2015 汐 骨 会 版 我 所 有 
图 3-8 
回归 分 析 
ni 上 映 年 份 、 上 了 映 档 期 、 宣 太公 司 类 型 、 
影 万 时 长 、 是 侣 原创 、 有 是 否 i 合 续 集 、 导演 是 否 获奖 、 叶 污 是 全 从 演 


员 转 型 10 个 变量 的 对 数 线 性 回归 模型 ， 调整 后 的 R2 为 45.9596 回归 结果 如 图 3-9、 
图 3-10 和 图 3-11 所 示 。 


对 就 线性 回 ， 丫 
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对 数 线 性 回归 























































































































回归 系数 “| 人 值 | 备注 
影片 属性 | 播放 时 间 | 时 长 | mm a0.OM 
z | ao 年 | 026 Omg | 
上 映 年 份 2012 年 0.14 0.367 基准 : 3010 年 
2013 年 [i 0.007 
上 映 时 间 | 置 期 档 | 035 | O019 
普通 档期 -区 0.026 = | 
a 黄金 档 1 随 -0.39 0.042 
黄金 楼 2 了 明 0.48 iE: 
| | 国有 企业 0.23 让 1 本 = 
品牌 宣 发 方 小 私营 企业 41 0.015 基准 : 联合 企业 
明星 私企 0.15 0.329 
52016 狗熊 全 版 权 所 有 
图 3-10 
回归 系数 P 慎 备注 
是 否 改 网 原 剖 .O42 | 基准 : 改编 影片 
是 百 
IP 非 真 人 真 事 D038 | 基准 : 是 真人 商事 影片 
真人 真 事 | 
是 否 续集 有 续集 D019 | 基准 : 没有 续集 
是 否 得 奖 | 。 导演 得 奖 0.016 | 基准 : 没有 得 站 
5 演 | | -一 : 
是 否 转 型 从 演员 转型 0.48 oo | 基准 ; 不 是 转型 








R-squared: 0.$19, Adyusted R-saquared: 0.459 
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图 3-11 


总 结 与 讨论 对 数 线 性 模型 的 系数 估计 解读 为 “增长 束 *"， 在 控制 其 他 因 和 又 不 变 的 
情况 下 ， 对 于 影 亡 闫 型 这 一 变量 ， 基 疑 影片 、 魔 约 影 三 的 景 房 比 爱情 影 三 票房 平 
均 依 次 局 101%、87%， 爱 情 关 影 请 与 动 国 类 影 万 紧 房 没有 显 震 基 开 ; 影片 时 长 与 
昧 房 显 考 相 关 。 相 比 其 他 档期 的 电影 ， 侦 罗 档 影 放 对 暴 房 的 影 啊 最 大 ， 对 塞 肥 公 
司 这 一 变量 ， 小 私 稼 企业 与 联合 公司 宣 上 友 的 影 请 票房 有 显 赦 差异 。 


温 区 提醒 : 进入 狗熊 会 公众 号 〈CIuBear) 输入 文字 :“ 电 影 "”， 听 静 静 音频 ! 





线性 回归 一 一 线 上 广 冯 销量 预 训 


“ 双 十 一 "市 手 季 


每 年 “ 双 十 一 ”到 来 ， 就 是 全 民 “ 市 手 ” 的 时 候 。 卖 家 热情 促销 ， 买 家 积极 转 货 。 
2015 年 “ 双 十 一 ”期 间 ， 阿 里 巴巴 集团 单 日 平台 交易 人 额 达 到 了 912.17 亿 元 ， 香 日 
的 “光棍 节 ? 已 经 御 底 变 成 了 购物 狂欢 节 。 


数据 来 源 和 说 明 


作为 商家 ， 最 重要 的 融 是 如 何 合理 预 估 库存、 吸引 天 家 眼球 ;作为 广大 购物 
者 ， 想 了 解 的 是 什么 样 的 衣服 顺应 时 代 大 家 部 爱 ， 什 么 样 的 已 经 被 最 近 的 漳 流 淘 
汰 。 基 于 此 目的 ， 以 示 购 物 网 站 未 年 未 月 销售 量 超过 100 件 的 $880 秋 和 连 衣 福 为 研究 
对 象 ， 通 过 回归 分 析 探 完 影 响 连 衣 裙 销量 的 多 种 因 系 。 销 售 方 能 信 此 捕 失 流行 站 
势 、 了 解 买 家 需求 、 有 效 定 位 市 场 、 合 理 管理 库存 ， 而 消费 者 则 可 以 洞悉 潮流 动 
态 、 了 解 卖 家 情况 并 且 增 加 网 购 经 验 。 


表 3-4 数 据说 明 表 











数据 描述 

取舍 为 100~2952 笔 | 
例 ， 雪 纺 连 衣 裙 夏季 长 裙 修身 显 瘦小 清新 中 长 款 女装 
露 户 高 腰 裙 子 





分 6 个 年 龄 层 : 二 17 岁 ，18 一 中 岁 ，25 一 290 岁 ，30~ 
34 好 ，35 一 39 岁 ，40 一 40 岁 


例 ， 风 格 ， 埋 版; 禄 长 ， 中 长 裙 ; 袖 长 ， 短 袖 ， 领 型 ， 
圆 领 ; 袖 型 ， 常 规 ， 腰 型 ， 中 腰 


数据 描述 
店铺 所 处 城市 
分 为 0 一 2 年 店 、3 年 店 、4 年 店 、5 年 店 等 


评分 包 合 三 方面 ， 搬 述 、 物 流 、 上 服务 ， 取 但 为 4.0 一 
5, 昌 分 





所 属 店铺 
信息 








样本 数据 的 变量 分 成 商品 本 和 映 属性 和 所 属 店铺 信息 璀 大 类 。 


首先 ， 对 于 商品 本 身 属性 做 简单 的 描述 性 分 析 。 从 图 3-12 可 以 看 出 ， 样 本 数据 
中 月 销量 在 100 一 1$0 件 之 间 的 连衣裙 占 比 最 多 ， 约 3$.4%。 整 体 而 言 低 价 商品 更 受 
消费 者 青睐 ， 月 销量 随 着 单价 上 升 而 下 降 。 在 目标 人 和 群 方面 ， 市 场 上 以 2$ 一 29 多 
女性 为 目标 消费 人 和 群 的 连衣裙 数量 最 多 ， 定 位 于 青少年 以 及 中 老年 消费 者 的 现 有 
商品 数量 较 少 ， 但 其 平均 销量 反而 比 其 他 年 龄 段 高 ， 市 场 潜力 较 大 。 


连衣裙 销售 量 的 分 布 商品 价格 对 销量 的 影响 
Rs : 和 
本 
灿 二 
关 ， 站 
二 民 
Un 


LU 1 j= 


月 销量 ( 笔 ) 
和 图 3-12 ”连衣裙 销量 分 布 以 及 价格 对 销量 的 影 啊 


此 外 ， 收 集 到 的 数据 含有 大 量 的 文本 《 见 图 3-13) ， 比 如 商品 名 称 、 款 式 风 
格 、 店 铺 所 在 地 等 。 这 些 信息 往往 跟 销 量 有 很 大 关系 。 对 这 些 文本 数据 进行 词 去 
分 析 ， 开 提取 出 现 频 率 最 高 的 儿 个 关键 词 ，“ 新 蒜 “ 显 瘦 中 长 款 印 化 
"等 ， 





居 箭 


/i 
向 时 


州 、 





图 3-13 ”文本 数据 的 词 云 图 


运用 箱 形 图 对 “ 显 瘦 “新 球 * 中 长 球 * 理 版 ”四 个 关键 词 进行 分 析 ( 见 图 3-14) 
还 可 以 得 出 许多 具体 的 结论 。 例 如 ， 整 体 来 说 ,，“ 辆 版 ”对 连 衣 宫 销量 有 明显 下 
啊 ，35 一 39 岁 年 龄 段 尤 为 突出 ， 但 是 对 18 一 24 风 年龄 段 的 级 引力 却 较 弱 。 


将 连 衣 祠 高 销售 量 的 近 6000 家 店 所 在 城市 进行 汇总 可 知 ， 分 布 在 杭州 、 广 
深圳 等 东南 部 沿海 及 江浙 一 市 的 数量 最 多 ; 而 分 布 在 武汉 、 东 莞 、 杭 州 、 郸 


兴 等 地 的 平均 月 销量 普 明 较 高 ; 成 立时 间 与 销量 无 明显 相关 关系 。 


说 


Dm 


全 部 年 龄 段 


35-39 岁 年 龄 段 


hy 





18~24 岁 年 龄 段 
站 


了 i 目 
活 6 8 


对 数 销 售 量 
图 3-14 十 合 六 夏 对 销量 的 影响 


作为 店铺 属性 之 一 ， 店 铺 评分 会 对 连衣裙 销量 产生 不 同 程度 的 影响 〈 见 图 3- 
15) 。 在 样本 数据 中 ， 物流 、 服务 、 搬 述评 分 为 4.8 的 商品 数量 最 多 ， 评 分 为 4.7 的 
其 次 ， 但 月 销量 最 高 的 连 衣 祖 三 项 评分 均 主 要 集中 在 4.7。 


回归 分 析 


为 了 量化 不 辣 因 系 对 连衣裙 月 销量 的 效应 ， 用 连 衣 禄 月 销量 对 商品 价格 、 音 
分 关键 词 以 及 商品 目标 人 群 年 龄 进行 了 回归 分 析 。 
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， 
对 数 销售 量 
图 3-15 ”商品 评价 对 销量 的 影响 
表 3-5 回 归 模 型 结果 





*# 半 ， 六 *， 六 分 别 表示 在 0.01，0.05，0.1 的 显著 水 平 下 显著 。 


发 现价 格 对 销量 的 确 有 人 负 向 影响 ， 符 合 预期 ， 价 格 平均 增长 1%， 连 衣 袜 月 销 
量 相 应 减少 约 0.23% (为 了 减少 异常 值 的 影响 ， 这 里 价格 和 销量 都 取 了 对 数 ， 所 以 
其 对 应 系数 应 解释 为 弹性 》。 除 “印花 "外 ，“ 新 款 * 显 瘦 … 中 长 款 ”等 关键 词 对 连 衣 
户 销 量 均 有 显著 正 向 影响 ， 其 中 “中 长 款 "特质 能 明显 提高 月 销量 约 12.4% (这 里 只 
有 因 变 量 月 销量 取 了 对 数 ， 所 以 对 应 系数 能 秋 为 增长 率 》。 而 年 龄 对 销量 的 影响 
和 f 不 显著 ， 


为 外 ， 本 和 例 还 基于 手 述 性 统计 分 析 结 末 ， 汶 虑 加 入 年 龄 和 各 关键 词 的 交互 
项 并 进行 第 二 次 回归 ， 探 求 天 键 词 在 不 同年 龄 段 的 具体 作用 。 


温 避 提醒: 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 女 闻 ”， 上 听 媛 子音 频 ! 











线性 回归 一 一 股票 投资 中 的 均线 案 略 


LS jt 
同 


介绍 

本 生 例 以 量化 投资 为 吾 景 ， 介 绍 时 间 序 列 分 析 的 内 容 。 时 间 友 列 分 析 在 很 多 
领域 中 广泛 使 用 ， 比 如 经 济 、 人 金融、 气象 、 和 生物 等 。 这 里 ， 我 们 看 一 个 时 间 序 列 
模型 在 股票 投资 中 的 运用 案例 : 移动 均线 (moving average) 宽 略 ， 这 是 在 股票 市 
场 中 最 经 党 讨论 的 投资 东 略 之 一 。 


看 到 均线 这 个 名 字 ， 很 目 然 地 会 联想 到 经 典 的 时 间 序 列 模型 一 一 一 自 回 归 移 
动 平均 模型 (auto - regression and moving average model，ARMA) 。 事 实 上 ， 均 线 
策略 所 用 的 模型 就 脱胎 于 A ” ”RMA 模型， 只 是 做 了 一 些 简 单 的 修改 而 已 。ARMA 模 
型 可 以 看 做 过 去 的 一 系列 观测 值 的 加 权 平 均 ， 再 加 上 一 个 随机 的 冲击 。 均 线 策 上 略 
作为 一 种 典型 的 技术 分 析 手 段 ， 其 假设 前 提 是 市 场 并 没有 那么 有 效 ， 有 一 些 趋势 
是 可 以 预测 到 的 。 一 旦 通过 采种 手段 有 友 现 一 只 股票 出 现 了 持续 上 涨 《〈 或 下 跌 ) 的 
十 头 ， 那 瓯 赶紧 买 入 《或 均 出 ) 这 只 股票 ， 可 以 在 接 下 来 的 继续 上 涨 (或 下 跌 ) 
中 获 蔡 。 基 于 A RMA 模型 的 思想 ， 如 果 友 现 当 天 的 股票 价格 超过 了 过 去 一 段 时 间 
的 平均 股价 《〈 通 篆 称 为 同上 穷 越 了 均线 ) ， 这 束 章 味 看 股票 可 能 进入 了 上 涨 的 势 
头 。 而 如 果 当 天 的 股价 低 于 过 去 一 段 时 间 的 平均 股价 ， 这 可 能 暗示 看 股 昧 开始 进 
入 下 跌 通 道 。 这 就 是 均线 案 略 的 核心 思想 。 只 要 定义 好 每 只 股票 在 过 去 的 平均 价 
格 水 平 ， 然 后 与 过 去 的 平均 价格 对 比 ， 判 断 是 否 应 该 买 入 或 者 眉 出 束 可 以 了 。 


末了 略 原 理 


一 且 友 现 东 只 股票 当期 鸭 价格 同上 《或 同 下 ) 罕 越 过 去 一 段 时 间 的 平均 价格 
水 平 ， 束 认为 该 股票 友 出 了 进入 上 涨 《 或 下 跌 ) 通道 的 信和 与 ， 可 以 采取 相应 的 交 
易 行 为 。 这 种 策略 称 为 日 均线 束 略 。 但 单 均 线 生 上 略 友 现 的 交易 信号 可 能 仅仅 是 由 
当天 的 随机 流动 引起 的 ， 即 单 均 线 集 略 所 使 用 的 信 坪 并 个 那么 可 徘 。 如 何 才能 所 
PT RR 
线 策略 。 


双 均 线束 上 略 


为 了 确认 价格 硝 实 进入 上 涨 通道 ， 一 个 简单 的 想法 是 ， 既 然 超 越 有 可 能 是 由 
了 晨 机 流动 引起 的 ， 那 么 把 随机 波动 平均 挥 不 殉 可 以 了 吗 ? 统计 学 的 基本 第 识 显 
示 ， 取 平均 值 是 最 简单 有 效 的 处 理 方 法 。 基 于 这 个 思想 ， 可 以 设计 随后 的 双 均 线 
束 略 。 


具体 来 说 ， 定 义 一 长 一 短 两 个 期 限 ， 如 来 及 现 过 去 较 短 期 限 (N 期 ) 的 平均 价 
格 《〈 短 期 均线 价格 ) ， 同 上 超过 了 过 云 较 长 期 限 〈M 期 ，M>N) 的 平均 价格 水 平 
(长 期 均线 价格 ) ， 残 比较 有 把 握 判 断 股 票 价格 确实 开始 进入 上 涨 通 道 ， 应 该 丈 
入 。 在 洋 入 之 后 ， 一 旦 友 现 短期 均线 癌 下 和 穿越 低 于 长 期 均线 ， 束 认为 股价 开始 下 
跌 、 不 再 上 涨 了 ， 这 时 应 该 买 出 股票 。 每 间隔 一 段 时 间 (H 期 ， 也 称 为 建仓 间隔 
期 ) 束 比 较 所 有 备 选 股 票 的 短期 均线 和 长 期 均线 的 价格 ， 然 后 决定 该 买 入 哪些 股 
景 ， 以 及 已 经 买 入 的 股票 时 征 合 该 习 出 。 



































目 适 应 均线 全 略 


在 强化 区 多 信和 写 的 可 徘 性 时 ， 还 可 以 使 用 为 外 一 种 思路 。 在 对 比 当天 价格 与 
历史 价格 的 平均 水 平时 ， 如 来 在 过 去 一 段 时 间 内 价格 的 流动 很 大 ， 即 股价 走势 不 
那么 清晰 时 ， 需 要 较 长 时 间 的 历史 数据 才能 更 可 菲 地 测度 过 去 的 平均 价格 水 平 : 
而 如 朱 股 价 的 走 努 已 经 很 清晰 ， 则 只 需要 较 短 时 间 的 数据 融 可 以 测度 过 去 的 平均 
价格 水 平 ， 也 束 是 说 ， 在 测度 过 去 的 平均 价格 水 平时 ， 不 再 使 用 一 个 固定 不 变 的 
期 限 ， 而 是 根据 市 场 状 况 选 用 或 短 或 长 的 期 限 ， 来 更 元 活 地 测度 。 


具体 来 说 ， 在 每 一 期 对 每 只 股票 先 计 算 一 个 刻画 市 场 走 势 是 否 明 归 的 指标 。 
最 和 使 用 的 一 个 指标 是 市 场 有 效 性 比 鞭 (efficiency ratio) ， 即 用 一 段 时 间 的 价格 疤 
变动 〈 即 当期 的 价格 减 去 最 早 一 期 的 价格 ) ， 比 这 一 段 时 间 的 累积 价格 变动 〈 即 
把 每 期 价格 变动 的 绝对 值 加 总 ) 。 有 效 性 比 圣 越 高 ， 说 明 市 场 的 走势 越 请 晰 ， 恬 
该 用 越 短 期 限 的 平均 价格 ;有 反之 ， 应 该 用 更 长 期 了 腿 的 平均 价格 。 然 后 对 比 当 期 的 
价格 和 历史 价格 的 均线 ， 如 有 果 当 天 价格 回 上 罕 越 了 均线 ， 了 驶 夹 入 股票 。 对 于 已 经 
买 入 的 股票 ， 如 果 发 现 当 期 价格 同 下 罕 越 了 均线 ， 驶 严 出 该 股票 。 每 隔 一 个 建仓 
间 隅 期 ， 重 复 表 述 步 又 。 


与 双 均 线 划 上 略 强 调 提 珊 信 了 写 的 可 啡 性 略 有 区 列 ， 目 适应 均线 更 强调 策略 的 灵 
活性 ， 以 便 更 好 地 适应 市 场 的 个 同 状况 ， 以 期 达到 拓 升 东 略 表现 的 目的 。 


束 略 实施 与 评价 
数据 准备 与 东 略 实施 


本 案例 运用 2005 年 1 月 1 日 至 2016 年 9 月 12 日 全 部 A 股 的 周 度 收 盘 价 《前 复权 ) 
数据 ， 通 过 RR 语言 编程 ， 对 前 述 两 种 均线 策略 展开 实证 检验 。 特 别 说 明 的 是 ， 为 了 
保证 价格 对 比 的 有 效 性 ， 需 要 使 用 考虑 了 配股 和 分 红 的 前 复权 价格 。 因 为 一 旦 分 
红 或 配股 ， 价 格 必然 会 发 生 很 大 变化 ， 简 “” 单 地 对 比 怕 始 价格 ， 很 容易 得 到 错误 的 
交易 信号 。 另 外， 本 案例 使 用 的 是 周 度数 据 ， 现 实 中 可 能 更 党 用 的 是 日 度数 据 。 
事实 上， 运用 基于 技术 分 析 的 策略 时 ， 通 稼 使 用 的 是 相对 高 频 的 数据 ， 很 少 使 用 
月 上 度 等 低频 数据 。 但 无 论 何 种 频率 的 数据 ， 均 线 策 略 的 逻辑 不 变 。 


对 于 双 均 线 稼 略 ， 还 需要 苍 夸 两 种 均线 期 限 和 建仓 间 隅 期 限 的 选择 。 其 体 的 
数据 准备 工作 与 初始 设 定 如 图 3-16 所 示 。 这 里 不 郑 碟 做 空 ， 因 为 我 国 做 空 成 本 太 
局 。 买 入 多 只 股票 时 ， 采 用 等 权重 加 权 的 方式 。 






































数据 准备 
> 研究 样本 : 全 部 和 股 收 知 价 《前 复权 》 
前 复权 :其 权 后 价格 =[( 香 极 梧 价格- 现 合 红利) 十 本 (新 ) 股 俐 格 区 流通 股份 变动 比 
种 例 ] 二 (1 十 流通 瞳 供 变动 比例 ) 
> 样本 区 间 : 2005/01/01 一 2016,/09,13 
> 件 本 频率 : 周 度 (个 股 股 件 时 间 间 隔 为 周 ) 


参数 议定 
证 165， 芍 N: 
日 加 权 方 式 : 等 权重 
口 策略 类 型 ;单一 多 藉 


H: 日 10; 0 


1 





参数 合 义 
令 由 长 期 移动 平均 线 鸭 期限 【里 位 为 周 ， 
倒 NH: 短期 移动 平均 线 的 期 限 (单位 为 周 》 
例 H: 建仓 开始 全 下 一 雇 建 仓 风 期 限 . 注 : 个 是 持 有 期 ) 





图 3-16 


基于 前 述 准 备 ， 双 均线 策略 的 实施 可 以 通过 图 3-1 “7 来 刻 男 。 从 图 3-17 可 以 看 
出 ， 略 实施 在 本 质 上 恕 是 持续 监测 交易 信和 号， 根据 信和 号 次 定 是 合 严 入 或 者 买 出 


股票 





对 于 目 适 应 均线 全 上 略 ， 其 区 易 流程 和 双 均 线 全 略 非 第 类 似 ， 不 再 帝 


每 经 过 ff 周 再 一 次 建仓 






” 划 周 均线 下 穿 # 周 均线 谈 出 






周 均 战 上 穿 W 周 均 夸 


注 ! 每 一 记 建 他 中 ， 考 其 中 的 股票 在 上 
周 内 一 直 设 有 出 现 卖 出 信 号 中 破 长 
期 移动 平均 线 ) ， 则 一 直 持 有 ， 租 到 
路 蕉 时 区 出 ， 极 这 情 襄 是 直到 量 后 一 
个 交易 日 : 





图 3-17 


束 略 评价 


在 策略 实施 后 ， 和 需要 对 束 略 的 表现 进行 评价 。 下 先 上 讲 ， 和 上 略 的 收 荔 越 融 越 
好 ， 风 险 越 低 越 好 。 在 本 条例 中 选用 了 三 个 最 经 典 的 指标 ， 具 体 如 图 3-18 所 未 。 


区 易 区 辣 的 累积 收 伪 率 





蕊 利 交易 与 交易 总 数 的 比值 





总 盔 利 与 总 亏损 交易 的 比值 





图 3-18 


图 3-18 中 的 前 两 个 指标 收益 率 和 胜率 重点 在 于 刻 男 收益 情况 ， 第 三 个 指 
标 熏 利 因子 则 绿 合 考虑 收益 和 风险 。 通 第 来 说 ， 他 由 区 多 甩 上 略 其 胜率 要 大 于 50%， 
ee 次 交易 是 人 盘 利 的 ， 令 利 因子 要 大 于 1， 即 纺 利 要 大 于 
亏损 。 


全 市 场 结 末 


先 看 一 下 双 均 线 策 略 运用 于 所 有 股票 的 全 市 场 分 析 结 果 。 不 同期 限 和 建仓 间 
隅 期 的 结果 如 表 3-6 所 示 。 











表 3-6 不 同期 限 和 建仓 间 隅 期 的 结果 





NM | 建仓 间隔 【 | 平均 收益 率 (%) 盟 利 因子 
5 19.34 | 63.7! 5. 34 

5 一 15 | | 入 . 多 5. 19 
30 19. 68 .0 5. 40 

5—30 2 | 57. 5. 87 


以 第 1 行为 例 ， 它 表示 如 果 短 期 均线 的 期 限 为 5 周 ， 长 期 均线 的 期 限 为 15 周 ， 
建仓 间 隅 为 9 周 ， 则 每 $ 周 可 以 获得 的 平均 收益 率 为 19.34%， 胜 率 为 63.79%， 人 和合 利 
因子 为 $.34。 考 虑 到 样本 区 间 前 后 1 2 年 的 时 间 路 度 包含 至 少 两 轮 股 市 的 暴涨 暴 
跌 ， 这 样 的 表现 还 是 不 错 的 。 仔 细 对 比 可 以 看 出 ， 在 各 种 备 选 方案 中 ， 短 期 均线 
为 $ 周 ， 长 期 均线 为 30 周 ， 建 仓 间 隔 为 30 周 的 策略 是 最 优选 择 ， 收 益 率 可 以 提升 到 
35.33%。 


基于 双 均 线 案 略 的 结 未 ， 在 进行 目 适 应 均线 倚 略 的 测试 时 ， 将 长 期 均线 的 期 
限 议 为 30 周 ， 建 仓 间 隅 设 为 30 周 。 目 适应 均线 梨 略 的 表现 如 图 3-19 所 示 。 


图 3-19 的 上 半 部 分 显示 了 逐次 建仓 的 累计 收益 ， 可 以 看 出 目 适 应 均线 策略 在 早 
期 表现 相对 更 好 ， 而 在 后 期 表现 要 差 一 些 。 全 样本 区 间 的 表现 如 图 3-19 的 下 半 部 分 
所 示 ， 累 积 收 益 率 为 21.89%， 胜 率 为 55.56%， 而 奏 利 因子 为 10.77。 相 对 于 最 优 的 
双 均 线 策 略 来 讲 ， 目 适应 均线 策略 的 收益 紊 和 胜率 更 低 ， 但 钥 利 因子 更 高 ， 也 即 
自 适 应 均线 策略 的 风险 更 低 。 


分 市 场 结果 


将 均线 生 略 不 加 区 分 地 运用 于 全 部 股票 的 结 末 看 起 来 还 可 以 ， 但 能 奋进 一 步 
改进 琐 略 、 提 升 朱 上 略 表 现 呢 ?最 人 镜 单 的 想法 是 ， 应 该 不 是 所 有 的 股 ”办 痢 会 在 均线 
束 略 上 表现 民 好 ， 可 能 具有 东 些 特质 的 股票 会 在 均线 上 略 上 有 更 优 卉 的 表现 。 基 
于 该 想法 ， 接 下 来 根据 股票 的 四 个 重要 特征 将 股票 分 成 儿 组 ， 分 列 检验 均线 集 略 
在 个 同 特征 股票 上 的 表现 。 共 体 来 讲 ， 使 用 图 3-20 中 的 改进 方法 。 


图 3-19 ”逐次 建仓 累计 收益 水 平 网 
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根据 全 市 场 结果 ,可 以 发 现 长 期 均线 (5-30-30) 可 以 获 
得 量 离 的 累计 收益 ， 基 于 此 ， 对 其 加 以 改进 ， 进 行 分 市 场 
比较 ， 看 何 种 分 市 场 博 况 下 策略 效果 最 好 





人 得 和 
市 场 规 棋 ( Size 1 
。 账面 市 值 比 ( BMR ) 
。 深 动 性 Liquidity) 


,a : 

-以 年 为 频率 通过 分 位 数 将 全 和 场 芬 为 小 中 大 三 个 有 正义 
前 0= a 是 小 拔 样 ， -70% 是 中 等 规模 70% 加 星云 
规 粮 ! -J = 全 有 ss 3 人 

- 考虑 到 好 ee pe ee 


图 3-20 


特别 注意 的 是 ， 考 虑 到 实际 交易 中 的 数据 可 得 性 ， 当 期 对 市 场 划分 时 “所 使 用 
的 数据 均 为 上 一 期 的 数据 。 由 于 市 场 中 有 些 数据 的 缺失 ， 导 致 一 些 指标 无 法 计 
算 ， 分 样本 分 析 时 会 届 除 一 些 股 票 ， 导 臻 分 市 场 的 结果 与 全 市 场 的 结果 会 有 定 
差距 


自 完 看 股票 的 规模 (总 市 值 〉 分 组 之 后 的 结 末 〈 见 表 3-7)〉 。 可 以 看 出 ， 规 模 
小 的 股票 其 收益 率 最 局 ， 平 均 素 积 收益 率 可 以 达到 77.62%; 表现 次 之 的 是 规模 大 








的 股 全 ， 平均 累计 收益 率 为 66.94%; 表现 最 大 的 是 中 等 规模 的 股票 ， 平 均 累 积 收 
硬座 仅 为 37.06%。 从 人 鳃 利 因子 和 胜 训 来 看 ， 也 是 小 规模 股票 和 大 规模 股票 的 表现 


要 好 于 中 等 规模 的 股票 。 
表 3-7 根 据 股票 规 模 分 组 之 后 的 统计 结果 





平均 收益 率 ”胜率 盈利 因子 最 高 收益 最 低 收益 


(%) (%) (%) (%) 
规模 小 77.62 83. 33 45. 09 372. 18 一 12. 49 
规模 中 等 37. 06 73. 33 14. ] 4 197. 05 一 14.6] 
规模 大 66. 94 85: 71 46. 16 279. 82 一 13. 22 


然后 看 账面 市 值 比 ， 即 股票 的 账面 价值 比 市 场 价 值 分 组 的 结 朱 《〈 见 表 3-8) 。 
从 表 3-8 可 以 看 出 ， 分 组 之 后 的 表现 比 全 市 场 有 所 提升 。 和 而且 ， 不 同 于 根据 股票 规 
模 分 组 的 结 霖 ， 中 等 账面 市 值 比 的 股票 在 均线 集 略 上 表现 最 好 ， 平 均 累 积 收 匣 率 
达到 95.62%。 上 账面 市值 比 事实 上 度量 的 是 公司 的 成 长 性 ， 这 和 明 均线 傈 略 在 成 长 
性 很 好 和 成 长 性 很 不 好 的 股票 上 表现 一 般 ， 但 在 有 一 定 成 长 性 的 股票 上 表现 最 


好 。 








表 3-8 回 归 模 型 结果 


平均 收益 率 ”胜率 盘 利 ”最 高 收益 ”最低 收益 


(%) (%) 因子 1 (%) 
小 账面 市 值 比 69. 89 78. 57 35.33 436. 14 —16, 48 
中 等 账面 市 但 比 95. 62 69. 23 28.89 776.89 一 18.81 
大 账面 市 值 比 55. 64 75. 00 40.10 270.17 一 10. 13 


册 膝 看 根据 股 宗 的 流动 性 分 组 之 后 的 结 采 《〈 见 表 3-9) 。 可 以 看 出 ， 均线 宋 上 略 
表现 最 好 的 股票 是 低 流 动 性 的 股票 ， 接 看 是 高 流动 性 的 股票 最 后 是 中 等 流动 性 
的 股票 。 但 对 比 根据 规模 和 账面 市 值 比分 组 的 结果 来 看 ， 根据 流动 性 分 组 对 策略 
效 末 的 提升 并 没有 那么 大 ， 也 束 古 说 ， 对 于 均线 策略 来 讲 ， 沈 动 性 似乎 不 是 那么 
重要 的 特征 。 








表 3-9 根 据 股 票 的 流动 性 分 组 之 后 的 统计 和 结 来 


平均 收益 率 ”胜率 便利 最 高 收益 ”最低 收 益 
(%) (为 ) 因子 (%) (%) 


低 流 动 性 49, 47 68. 75 15.. 29 284. 57 一 20.68 
中 等 流动 性 35, 70 73..93 19, 53 184, 11 一 12. 18 
部 流动 性 41. 64 63. 64 13. 5] 203. 60 —18. 84 





最 后 来 看 根据 股票 的 波动 率 分 组 的 结果 〈 见 表 3-10) 。 可 以 看 出 ， 根 据 波动 率 
分 组 确实 有 助 于 提升 倘 略 的 表现 。 具 体 来 说 ， 随 看 波动 识 的 上 上升， 均线 策略 的 表 
现在 下 降 。 在 波动 这 最 低 的 那 一 组 ， 均 线 宁 上 略 可 以 获得 平均 累积 收益 这 6.33%， 而 
波动 率 最 高 的 那 一 组 ， 其 平均 累积 收益 率 仅 为 18.20%。 两 组 之 间 的 兰 距 非常 大 。 
这 个 结果 非常 从 合 对 均线 策略 的 认 知 。 因 为 均线 策略 束 是 要 发 现 显 车 异 于 历史 趋 
势 的 交易 信号 ， 而 对 高 波动 率 的 股票 来 讲 ， 其 高 波动 率 的 特征 很 容易 导致 出 现 虚 
假 的 交易 信和 号， 这 也 就 不 难 理解 高 波动 率 的 股票 表现 不 佳 了 。 


表 3-10 根 据 股 票 的 流动 鞭 分 组 之 后 的 统计 结果 





平均 收益 率 胜率 (%) ” 帮 利 因子 。 最 高 改 益 。 最 低 收益 (%) 
(%) (%) 
低 波 动 61. 33 64. 29 15. 24 467. 40 —25. 08 
中 等 流动 35. 03 69. 23 17. 37 188. 96 =29, 87 
高 波动 18. 20 53. 85 7. 58 97. 06 15; 52 
总 结 与 讨论 


本 守 例 将 最 经 典 的 扩 术 分 析 方 法 之 一 均线 束 略 ， 运 用 于 中 国 股票 1 
场 。 通 过 本 案例 可 以 友 现 ， 以 时 间 序 列 模型 为 基础 的 均线 全 上 略 在 中 国 市 场 有 不 错 
的 表现 ， 这 证 明 时 间 序 列 分 析 的 有 用 性 。 通 过 分 市 场 检验 还 友 ” 现 ， 对 股票 进行 区 
分 有 助 于 提升 均线 朱 上 略 的 表现 ， 表 明 均 线 末 上 略 的 仿 利 性 可 能 依赖 于 股票 的 作 些 特 
征 。 


温 从 提醒 : 进入 狗熊 会 公众 号 〈CIuBear) 输入 文字 :“ 均 线 ”"”， 听 康 爸 首 频 ! 





0-1 回 归 一 一 东 移 动 通信 公司 客户 流 撩 预 千 分 析 


手机 客 尸 流失 


手机 作为 人 们 日 党 通信 的 必 备 工具 ， 正 在 发 挥 着 越 来 越 多 的 作用 。 通 信行 业 
经过 了 20 年 的 发 展 ， 现 在 基本 呈现 三 足 易 立 的 局 势 。2011 一 2016 年 ， 中 国 移动 、 
中 国联 通 和 中 国电 信 的 移动 客户 数 增 长 十 分 缓慢， 市 场 已 经 呈现 出 饱和 状态 。 如 
何 保 有 现 有 的 用 户 、 避 免 流 失 已 经 成 为 运营 商 最 关心 的 问题 。 


数据 来 源 和 说 明 


本 案例 的 数据 来 自 某 城市 的 移动 运营 商 ， 其 VIP 客户 ， 每 个 月 有 2% 左 右 的 流失 
率 。 这 意味 着 每 年 24% 的 高 价值 客户 正在 流失 。 能 否 提前 对 他 们 予以 识别 、 干 预 
并 最 终 挽留 ， 是 本 案例 关心 的 问题 ， 


传统 的 和 铭 户 挽留 方法 是 通过 数据 分 析 ， 友 现 条 位 用 尸 本 月 的 活跃 程度 例如 
消费 金 筑 、 通 话 时 间 、 通 话 个 数 ) 跟 历 史 相 比 有 巨大 变化 ， 那 么 各 服 经 理 现 会 打 
电话 进行 挽留 。 这 一 方法 有 以 下 缺点 : 第 一 ， 难 以 界定 多 大 的 “变化 ”算是 “巨大 ”， 
缺乏 科学 的 依据 ， 第 二 ， 斤 留 沛 后 ;第 三 ， 所 考虑 的 指标 体系 有 限 ， 主 要 依赖 于 
用 户 的 消费 习惯 ， 辅 以 人 口 统计 学 指标 。 结 果 就 是 ， 传 统 的 方法 不 仅 成 本 高 、 准 
傅 度 低 ， 而 且 经 各 打扰 正 钊 客 尸 。 因 此 硕 望 开 肥 一 个 系统 的 客户 流失 预警 便 型 ， 
祖 助 企业 近 前 识别 局 风险 流失 客户 。 


为 此 ， 利 用 月 度 的 基础 通信 数据 和 通话 话 单数 据 ， 和 希望 在 传统 的 指标 “变量 上 
构建 一 些 和 网 络 相 关 的 变量 。 


构建 的 第 一 变量 是 通话 人 数 。 如 未 一 个 人 的 联系 人 数 众 多 ， 那 么 他 换 气 的 成 
本 融会 很 局 ， 因 此 通话 人 效 可 以 看 成 客户 在 这 个 网 络 中 的 社交 等 本 ， 并 且 推 新 拥 
有 的 社交 资本 越 局 ， 流 失 的 概率 越 低 。 将 这 个 衍生 变量 定义 为 个 体 的 度 。 


在 个 体 的 度 的 基础 上 上， 又 定义 了 两 个 衍生 变量 : 联系 强度 和 个 体 信 息 粹 。 联 
系 强 上 度 是 指 和 该 用 户 通 过 电话 的 所 有 人 的 平均 通话 分 钟 数 ， 个 体 信 息 烂 是 指 和 该 
用 户 通 话 的 所 有 人 中 平均 每 人 通话 分 钟 数 的 分 布 情况 。 由 于 需要 建立 一 个 预警 模 
型 ， 所 以 建 模 时 所 有 的 上 自 变 量 来 目 当 月 ， 因 变量 〈 是 合流 失 ) 来 目下 一 个 月 ， 有 具 
体 的 变量 如 表 3-11 所 示 。 








表 3-11 释 量 说 明 表 






流失 率 1. 27% 
数据 截取 日 减 去 人 网 时 间 
统计 当月 的 总 花费 

六 过 


i! 










Total Comm: 


1 万 


EF =— > ,py*logtpy) 
6; = 
(当月 个 体 的 度 一 上 月 个 体 的 度 ) / 


上 月 个 体 的 度 
(当月 花费 一 上 月 花费 ) /上 月 花费 


个 体 度 的 变化 | 连续 变量 ,单位 , % 
花费 的 变化 | 连续 变量 ， 单 位: % 
说 明 ， 由 于 本 案例 关注 的 是 预警 模 型 ， 所 以 在 后 续 的 建 模 中 关注 的 是 当月 的 一 些 
自 变量 是 否 会 对 下 月 的 流失 产生 影响 ， 这 样 模型 可 以 做 到 提前 预警 。 
描述 性 分 析 


在 进行 回归 分 析 之 前 ， 衣 完 对 各 个 目 变 量 进行 拍 述 性 分 析 。 选 取 其 中 一 个 月 
份 胸 数据 进行 分 析 ， 插 述 性 分 析 结 末 如 表 3-12 所 示 。 


表 3-12 目 变量 接 述 性 分 析 结 果 
























































在 网 时 长 (天) 1 257.4 994.7 184,0 4 479.6 


当月 花费 (元) 161.1 135.9 一 .8 511. ] 
个 体 的 度 (人 数 ) 66.6 54.0 一 0.4 304.0 
联系 强度 (分钟 /人 ) 9.8 8.0 —2.4 62. 5 
个 体 信息 确 2.9 3.0 0.0 5.3 
度 的 变化 (%) 0. 04 0.0 一 1.0 7: 汉 
化 费 的 变化 (7%) 0. 007 0.0 一 1.0 39 


说 明 : 出 于 对 合作 企业 数据 隐私 的 保护 ， 无 法 提供 最 原始 的 数据 ， 因 此 本 采 例 仅 
提供 了 两 个 月 的 目 变 量 数据 ， 并 且 讨 加 了 随 机 扰动 项 ， 形 成 了 本 守 例 的 示例 效 
据 。 所 以 从 手 述 性 分 析 开 始 ， 以 下 分 析 的 结 末 仅 供 参 苍 。 虽 然 数 据 是 加 了 随机 扰 


动 项 的 结束 ， 但 变化 的 趋势 儿 乎 是 一 任 的 。 


从 上 述 插 述 性 分 析 中 可 以 看 到 ， 有 些 变 量 存在 寞 第 值 的 现象 ， 例 如 度 的 变化 
中 位 数 是 0， 而 最 大 值 有 7.3。 对 于 弄 第 值 的 确定 并 没有 一 个 非常 通 用 的 各 观 评价 标 
准 ， 在 本 案例 中 我 们 用 均 信 加 减 3 倍 标准 委 作 为 判断 卉 币值 的 标准 。 弄 向 信 的 存在 
会 极 太 地 影 啊 模 型 伯 计 结 东 ， 上 所 以 在 建 模 前 对 天 种 值 鸭 处 理 是 十 分 必要 的 ， 所 以 
本 采 例 经 过 异 币值 处 理 后 ， 用 于 建 模 分 析 的 样本 量 为 44517。 


接 下 来 选择 个 体 的 度 、 联 系 强 度 和 个 体 信 息 燃 这 三 个 目 变 量 进行 分 组 御 线 图 
分 析 。 其 中 1 代表 流失 组 ，0 代 表 非 流失 组 ， 具 体 结果 如 图 3-21 所 示 。 


个 体 的 度 、 联 系 强度 、 个 体 信 息 炳 








LT 二 
黄 | = uh 
TH Tr 
皖 a 多 Wp , 
雪 rr es 
| i 
和 上 性 一 
一 一 和 六 
妆 Se 
Lm 1 





是 否 诉 失 是 否 方 失 
= 流失 组 ; 0= 非 流失 组 


图 3-21 


从 图 3-21 可 以 看 出 ， 对 于 个 体 的 度 这 一 指标 ， 平 均 来 说 流 矢 客户 的 个 体 的 度 要 
小 于 非 流 失 客 户 ， 说 明 要 流失 的 客户 已 经 基 本 没有 通话 行为 ”了 。 联 系 的 强度 在 流 
失 与 非 流 失 人 和 群 中 的 大 弄 并 不 大 ， 但 也 能 看 到 流失 组 的 平均 联系 强度 要 低 于 非 流 
矢 组 。 最 后 是 个 体 信 息 炳 ， 流 失 组 的 个 体 信 息 箭 平均 要 低 于 非 流失 组 。 个 体 信息 
灯 越 小 ， 说 明 通 话 分 布 越 集 中 ， 那 么 意味 看 各 户 流失 的 成 本 越 低 ， 所 以 流失 的 概 
率 融 越 大 。 搂 下 来 将 对 数据 进行 回归 分 析 ， 找 出 对 客户 流失 产生 显 考 影响 的 因 


加 归 分 析 


采取 浊 辑 回归 来 进行 建 模 ， 模 型 结 末 如 表 3-13。 从 模型 的 结 朱 可 以 看 出 : 
(1) 在 控制 其 他 变量 不 变 的 情况 下 ， 在 网 时 长 越 长 ， 流 失 概 率 越 低 : 〈2) 当月 
化 锅 越 高， 流失 概 率 越 低 ，《〈3) 个 体 的 度 越 六 ， 说 明 通话 人 数 越 多 ， 此 时 流失 概 
率 越 低 ; (4) 联系 强 硫 越 大 ， 说 明 平 均 通话 人 数 越 多 ， 此 时 流失 概率 越 低 ; 
(5) 个 体 信 息 精 越 大 ， 说 明 通 话 分 布 越 均 匀 ， 此 时 流失 概率 越 低 : 《6) 个 体 的 
度 的 变化 变 大 ， 说 明 通 话 人 数 有 上 所 增加 ， 流 失 概 率 变 低 : 《7) 化 强 的 变化 变 大 ， 
说 明 花 费 有 所 增加 ， 流 失 概 率 变 低 。 


表 3-13 回 归 模 型 结果 








变量 名 标准 化 估计 系数 标准 误 P 值 


截 中 项 —5,.119 0.077 0. 001 
在 网 时 长 一 中 所: 0. 067 <0, 001 
当月 花费 —0. 244 0. 060 <0. 001 
个 体 的 度 —0. 840 0. 138 < 0. 00] 
联系 信息 俩 —0, 180 0. 084 0. 033 
个 体 度 的 变化 . 0370 0. 045 -0. 001 
花费 的 变化 0. 133 0. 045 0.003 


为 了 计算 模型 的 预 负 精度 ， 给 出 了 复 址 率 一 捕 狱 率 曲 线 。 复 兰 率 一 捕获 率 曲 
线 的 定义 如 下 : 根据 模型 给 出 每 个 样本 的 了 预 测 流失 概率 值 ， 按 照 预 测 信 从 高 到 低 
对 样本 进行 排序 ， 例 如 只 履 兰 前 10% 的 样本 ， 计 算 对 应 的 真实 流失 的 样本 数据 所 有 
流失 样本 数 的 比例 ， 记 为 捕获 率 ， 以 此 闫 推 。 上 履 兰 个 同比 例 的 样本 ， 残 可 以 计算 
不 同 的 才 兰 率 对 应 的 捕获 率 ， 从 而 得 到 上 黎 兰 率 一 捕获 率 曲 线 。 


根据 柑 型 得 到 的 履 访 率 一 捕获 率 曲 线 如 图 3-22 所 示 。 其 中 模 轴 为 履 闫 率 ， 纵 轴 
为 捕获 识 。 可 以 看 出 ， 本 模型 的 精度 可 以 用 20% 左 右 的 窗 访 率 医 得 60% 左 右 的 捕获 
率 ， 这 是 一 个 相对 比较 噩 的 精度 。 建 立 流失 预 移 模 型 可 以 帮助 企业 更 好 地 进行 客 
户头 系 管 理 ， 对 融 风 险 客 户 做 好 客户 关怀 ， 尽 最 大 努力 皖 留 ， 加 强 企业 抗 客户 流 
失 风 险 的 能 力 。 企 业 还 可 以 设立 一 套 基 于 该 模型 的 流失 预警 体系 ， 根 据 成 本 了 预算 
来 选择 不 同 的 宪 雷 率 ， 对 客户 进行 实时 的 打分 预测 。 一 旦 预测 的 流失 概率 超过 了 
设 定 的 国人 ， 预 警 体 系 吏 可 以 有 友 出 警告， 告诉 企业 需要 重点 关注 该 客户 。 
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图 3-22 


进入 狗熊 会 公众 


号 (CluBear) 输入 文字 :“ 和 客户 流失 ”， 听 议 静 普 





捕获 紊 曲 线 


0-1 回 归 一 一 和 车险 数据 分 析 与 商业 价值 


背景 介绍 

随 看 道路 交通 行业 的 持续 发 展 ， 我 国民 用 汽车 保有 量 呈 现 逐 年 快速 增 长 的 趋 
势 。 鹤 至 2015S 年 年 底 ， 我 国民 用 汽车 保有 量 达 到 16284 万 辆 ， 比 2014 年 年 确 增 长 了 
11.6%。 [1] 


汽车 行业 的 繁 采 为 车 险 市 场 提供 了 医 懿 发 展 的 平台 ， 为 车 险 产 品 带 来 了 广阔 
的 发 展 空 间 。 车 险 产 品 主要 通过 汽车 因素 、 驾 驶 人 因素 和 环境 因素 三 个 方面 衡量 
被 保险 人 的 风险 水 平 ， 从 而 确定 保费 。 此 外 ， 司 机 的 鸭 驶 行为 也 是 衡量 风险 的 重 
要 因素 ， 对 车 险 保费 定价 有 指导 作用 。 

数据 来 源 和 说 明 


表 3-14 数 据说 明 表 


] 代表 出 险 ; 出 险 占 比 
0 0 代表 未 出 险 28. 46%% 


| 只 取 整 数 


| 直 只 取 整 数 
人 | 驾驶 人 性 别 












男性 占 比 

89. 18% 

已 婚 占 比 

95. 15% 

只 取 整 数 
建 模 时 离散 化 


建 醒 时 离散 化 


国产 车 占 比 
70. 16% 
公司 /政府 / 私人 车 品 比 
和 人 | 71. 50% 
过 让 汪 仁 对 用 | 国 准 业 疝 有 车 位 占 比 
固定 车 位 (2 水 平 ) | 有 /无 固定 车 位 和 


训 泪 必 人 攻 是 | 无 防盗 装置 占 比 
入 禹 大 站 (2 水 平 ) 有 /无 防 训 家 且 77. 60% 


本 案例 使 用 了 某 你 险 公 司 提 供 的 车 险 数 据 ， 共 4233 条 记录 。 数 据 共 包含 11 个 
变量 〈 见 表 3-14) ， 其 中 ， 因 变量 为 茶 年 度 的 车 险 理 赔 金 禾 ， 当 理赔 金额 为 0 时 ， 
代表 当年 没有 出 险 ; 当 理 嫉 金 额 大 于 0 时 ， 代表 实际 的 出 险 金 额 。 由 此 ， 将 因 变 量 
处 理 成 01 变 量 ， 即 某 年 度 是 否 出 险 ， 通 过 后 续 建 梗 欣 掘 影响 出 险 行 为 发 生 与 否 的 
重要 因素 。 上 有 目 变 量 即 为 相关 影 啊 因 条 ， 分 为 汽车 因素 和 和 臣 驶 人 因 系 两 其。 
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图 3-23 ”区 驶 人 因 系 统计 图 
描述 性 分 析 


芍 驶 人 因素 包含 4 个 变量 : 要 驶 人 年 龄 、 构 驶 人 当 龄 、 轰 驶 人 性 别 和 构 驶 人 婚 
姻 状 况 。 通 过 简单 的 摘 述 性 分 析 〔 见 图 3-23，， 可 以 看 出 出 险 和 未 出 险 敬 驶 人 年 龄 
的 平均 水 平 “ 中 位 数 ) 和 波动 水 平 的 兰 开 并 不 明显 : 出 险 加 驶 人 敬 龄 的 平均 水 平 
(中 位 数 ) 要 明显 低 于 未 出 险要 驶 人 ， 资 明 痢 手 司 机 更 有 可 能 出 险 ; 广 性 驾驶 人 
的 出 险 紊 更 品 ， 但 样本 量 远 小 于 男性 各 驶 人 ; 未 婚 敬 驶 人 出 险 率 上 略 蜗 ， 但 样本 量 
远 小 于 已 婚 委 驶 人 。 由 此 得 出 初步 的 结论 : 各 驶 人 的 性 别 和 婚姻 状况 可 能 对 出 险 
行为 有 影响 。 然 而 ， 这 种 影 啊 也 可 能 是 由 于 数据 本 身 的 样本 量 兰 开 形 成 的 。 


汽车 因素 包括 6 个 变量 : 汽车 车 龄 、 发 动机 引擎 大 小 、 是 否 进 口 车 、 所 有 者 性 
质 、 是 否 有 固定 车 位 和 是 否 有 防盗 装置 。 首 先 将 车 龄 变量 和 引擎 大 小 变量 进行 离 
散 化 处 理 ， 即 将 车 龄 为 1 年 的 看 作 新 车 ， 车 龄 大 于 1 年 的 看 作 旧 车 ; 将 引擎 小 于 等 
于 1.6 升 的 看 作 普 通 级 ， 引 区 大 于 1.6 升 的 看 作 中 高 级 。 由 图 3-24 可 以 看 出 ， 痢 车 出 
分 率 更 高 ， 普 通 级 车 出 险 率 更 高 。 因 此 可 以 初步 判定 汽车 车 龄 和 车 辆 级 别 会 影响 
出 险 行 为 。 加 入 会 员 微 信 whair004 








车 冲 车 辆 级 别 《 按 引擎 大 小 分 】 
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图 3-24 ”和 车 龄 和 车 辆 级 列 柱 状 图 


由 图 3-25 则 可 以 看 出 ， 有 防盗 滩 曾 、 有 国定 车位、 进口 车 以 及 私人 车 的 出 险 率 
略 霹 。 值 得 注意 的 是 ， 样 本 量 在 有 无 防盗 闻 症 、 有 无 固定 车 位 、 征 个 进口 后 和 所 
有 者 性 质 的 不 同 水 平 乙 间 ， 分 配 并 不 均匀 。 因 此 ， 这 种 兰 开 是 合 显 才 ， 需 要 借助 
后 续 建 模 结 来 进行 判断 。 


通过 对 数据 的 描述 性 分 机 ， 本 案例 认为 汽车 本 号 的 属性 特征 、 芍 驶 人 的 特征 
媳 可 能 会 影响 出 险 行为 的 用 生 与 个。 为 了 深入 挖 所 影响 出 险 的 显 者 因 系 ， 本 和 案例 
将 建立 出 险 因 系 的 0-1 回 归 柑 型 。 夯 虑 a 到 模型 涉及 请 多 日 变量 ， 本 生 例 试图 建立 模 
型 选择 的 AIC 和 BIC 标 准 ， 并 综合 模型 的 复杂 程度 和 预测 精度 ， 选 拌 最 利于 刻 和 面 出 
险 行为 影响 因 系 的 统计 模型 。 
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回归 模型 


表 3-1$ 展 示 了 AIC 模 型 的 回归 结果 。 
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图 3-25 ”其 他 车 辆 因 系 柱状 图 


表 3-15 AIC 模 型 估计 结 
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变量 | AIC 回归 系数 | 。 显著 性 | 备注 
进口 车 0 158 x 
| 


nt 0.35] yx pep 
所 有 者 性 质 一 一 政府 = | 
WA 
驾驶 人 蜀 0. 028 
女 司机 0174 | 
过 驯 J 、 Ss 婚 
模型 似 然 比 检验 。 力 值 二 0. 001 


说 明 : **# 代 表 0.001 显 著 ; ** 代 表 0.01 显 著 ; * 代 表 0.05 显 著 ;， .代表 0.1 显 著 。 


对 于 AIC 区 型 的 7 个 显 者 变 旺 而 吾 ， 右 控制 公 他 影响 因 么 个 区 ， 对 于 车 辆 级 别 
而 言 ， 普 通 级 车 辆 (引擎 小 于 等 于 1.6 升 ) 比 中 高 级 车 辆 (3| 擎 大 于 1.6 升 ) 更 可 能 
出 险 ; ee Pe 出 险 〈 车 龄 为 1 年 ) ; 对 于 有 无 固定 车 位 而 言 ， 
有 国定 车 位 的 车 辆 更 可 能 出 险 ; 对 于 是 否 为 进口 车 而 言 ， 进 口 在 比 国产 夺 更 可 能 
出 险 ;， 对 于 所 有 者 性 质 而 言 ， 私 家 征 最 可 月 出 险 ， 其 次 是 公司 的 车 ， 最 不 可 能 
今 的 是 政府 车 辆 ， 对 于 敬 驶 人 将 龄 而 言 ， 芍 龄 越 大 ， 越 不 可 和 出 险 (相对 于 老司 
机 ， 狐 手 司机 更 可 能 出 险 〉。 


综 上 上 所 述 ， 较 可 能 出 险 的 年 辆 具有 如 下 特征 : 新 手 司 机 、 进 口 和 车、 私家 车 、 
有 固定 停车 位 、 新 车 《和 车 龄 为 ] 年 ) 、 普 通 级 车 〈 排 量 小 于 等 于 1.6 升 ) 。 


商业 应 用 
通过 车 险 数 据 的 出 险 因 素 统计 模型 ， 可 以 得 到 一 些 十 分 具有 应 用 前 景 的 信 
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个 性 化 车 险 定制 


近年 来 国外 保险 公司 产生 了 一 种 新 的 车 险 费 率 厘 定 模式 ， 即 UBI 驾 驶 人 行为 保 
险 。UBI 的 理论 基础 是 驾驶 习惯 恨 好 的 驾驶 员 应 获得 保费 优惠 ， 保 费 取 雇 于 实际 区 
驶 时 间 、 有 其 体 吉 驶 方式 等 指标 的 综合 考量 。 保 队 分 公司 可 以 直接 检测 和 评估 鸭 9 台 行 
为 ， 当 车 辆 发 生 事故 时 ， 车 载 设 备 记 录 下 的 事故 速度 以 及 相关 信息 会 使 得 理赔 评 
估 和 处 理 更 有 效率 。 


十 闵 中 的 出 障 因 系 众 礁 即 可 应 几 于 UBI， 制 是个 性 化 苗 隐 六 Hm。 根据 影响 出 险 
的 显 半 因 系 (如 车 龄 、 各 龄 ) ， 对 其 出 险 概率 进行 预测 ， 并 根据 预测 结 来 及 等 驶 
人 区 驶 特征 制定 适当 的 保费 标准 。 不 仅 如 此 ， 还 可 以 进一步 结合 要 驶 行为 数据 ， 
制定 基于 区 驶 行为 的 UBI 梧 险 产 品 ， 如 对 具有 民 好 驾驶 行为 特征 的 驾驶 人 给 予 傈 这 
优惠 ， 对 具有 个 民 和 车 驶 行为 习惯 的 吉 驶 人 适当 提 珊 你 尸 。 


人 和 群 细 分 

















上 述 出 险 因 素 模 型 还 有 一 个 十 分 有 价值 的 应 用 领域 : 出 险 人 群 细 分 。 大 致 做 
法 是 : 首先 按照 AIC 模 型 的 预测 出 险 概 率 进 行 从 高 到 低 排 序 ， 然 后 将 排序 后 的 驾驶 
人 等 分 成 5 份 ， 代 表 从 高 到 低 5 种 不 同 风险 人 人群。 将 人 和 群 进 行 了 细 分 之 后 ， 可 以 计 
算 这 $ 种 人 和 群 的 实际 出 险 概 率 。 经 过 计算 ， 根 据 AIC 模 型 识别 出 的 低 风 险 人 和 群 占 总 
人 和 群 的 20%， 而 其 实际 出 险 率 只 有 17%， 比 样本 的 整体 出 险 率 28% 低 了 11 个 百 分 
比 。 模 型 比较 好 地 识别 出 了 不 易 出 险 人 群 。 对 于 人 群 风 险 等 级 的 划分 ， 也 可 以 应 
用 到 UBI 和 车 险 产 品 中 ， 对 高 风险 人 群 收取 高 保费 ， 对 低 风 险 人 群 适当 减少 保费 。 


温 夫 过 桓 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 生 联网?， 听 水 妈 音 
频 ! 
注释 


[1] 国家 统计 局 (www . stats . gov . cn) 。 


0-1 回 归 一 一 点 击 骏 了 预测 在 RTB 广 告 投放 中 的 应 用 


RTB 和 背景 知识 


如 果 在 2016 年 12 月 29 日 打开 12306 APP， 很 可 能 会 在 APP 完 全 打开 前 看 到 图 3- 
26 中 的 3 个 广告 : 魅 蓝 手机 、 农 行 信用 卡 、 滴 滴 打 车 。 广 告 很 应 景 ， 和 回 家 过 年 有 
关 。 这 种 广告 在 行业 里 叫 开 屏 广告 ，APP 上 还 有 很 多 种 广告 ， 包 括 和 条幅 广告 、 源 生 
“ 告 〈 如 朋友 疾 广 告 ) 等 。 


(入 中 国 农业 银币 


区 由 快 


二 





ETE 过 用 





图 3-26 ”12306 APP 的 开 屏 广告 
下 面 对 手机 广告 进行 详细 介绍 : 


第 一 ， 为 什么 APP 上 有 广告 ? 因为 APP 也 要 赚钱 。 除 了 极 少 数 可 以 徘 增值 服务 
来 赚钱 的 APP， 其 他 APP 很 难 癌 用户 收费 ， 所 以 只 能 让 用 户 看 广告 。APP 走 于 机 广 
告 这 个 行业 的 供给 方 ， 供 给 的 是 广告 位 。 


第 二 ， 为 什么 有 人 要 在 手机 APP 上 打 广 告 ? 三 义 地 讲 ， 有 人 要 买 东 两。 为 什么 
不 去 电视 上 打 广 告 呢 ? 去 白 度 也 行 啊 ! 大 数据 研究 表明 ， 很 多 人 没 了 手机 会 死 ， 
而 没 了 电视 或 者 搜索 引擎 并 不 会 。 哪 些 人 在 打 广 告 呢 ? 从 大 银行 到 小 农场 主 ， 想 
买 东 西 的 ， 痢 可 以 来 打 广 告 。 所以， 这 里 出 现 了 这 个 行业 中 的 需求 方 ， 束 是 想 要 
买 东 西 打 广告 的 人 。 他 们 需求 的 也 是 广告 位 。 


第 三 ， 市 场 是 如 何 形成 的 ? 供给 方 、 需 求 方 都 有 了 ， 市 场 也 吏 成 了 ， 可 以 像 
菜市 场 买 区 卜 、 卖 区 小 一 梓 目 发 地 运转 下 去 了 吗 ? 事实 不 是 这 样 的 。 在 中 国 ，APP 
数 是 日 万 量 级 ， 中 小 企业 数 是 千 万 量 级 ， 想 打 广 告 的 人 也 差不多 这 个 数 ， 买 方 垃 
方 做 组 合 ， 台 是 100 万 乘 以 1000 万 这 个 水 平 。 所 以 ， 还 需要 三 种 角色 : 两 个 代理 人 
分 别 代 表 买 方 和 卖方 ， 一 个 交易 平台 负责 收 付款 、 发 其 、 送 贡 等 。 


第 四 ， 两 个 代理 人 的 故事 。 一 个 叫 SSP (supply side plat form) ， 即 供给 方 平 
侣 ， 帮 助 APP 买 三 告 位 。 男 一 个 叫 DSP (demand side plat form) ， 即 需求 方 平台 ， 
帮助 千 万 广告 主 买 广告 位 。 


DSP 玫 广告 主 买 来 的 广告 位 ， 广 告 主 未 必 全 认可 ， 要 看 氮 击 率 。 那 么 “如 何在 
众多 APP 广 告 页 面 中 找到 最 能 让 广告 主 满意 和 歼 末 最 好 的 广告 位 呢 ? 这 束 为 数据 分 
析 提 供 了 机 会 。 


第 五 ，ADX 平 台 的 出 现 。ADX 平 台 (adex change) ， 即 广告 交易 平台 ， 其 主 
要 职能 就 是 同 DSP 收 伐 ， 同 SSP 付 钱 ， 从 SSP 收 广告 位 ， 再 打包 发 给 DSP。 


这 个 行业 叫 RTB， 即 实时 广告 禹 拍 ， 其 育 后 有 三 重 含义 : 


一 ， 上 广告 是 一 条 一 条 现 做 现 详 的 。 当 你 打开 未 个 APP 时 ， 广 各位 这 个 产品 才 
生产 出 来 ， 并 且 瑟 上 买 出 去 。 中 国有 13 亿 人 ， 有 多 大 挑战 可 以 想象 。 


第 二 ， 实 时 。 从 广告 位 产生 到 决定 打 哪 家 广告 ， 也 就 200 宫 秒 ， 甩 一 下 眼 的 时 
间 。 

oe Jodo <) Ms Rl te 这 怎么 办 ? 拍卖 。 拍 卖 规则 ， 
re 就 是 所 有 人 密封 出 价 ， 出 价 最 高 者 得 ， 只 需 支付 第 二 高 出 价 的 
介 本 


总 的 来 说 ， 实 时 广告 竞拍 可 以 通过 图 3-27 完 美 表现 出 来 。 
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图 3-27 ”实时 广告 竞拍 
回归 分 析 
从 上 文 可 以 看 出 ， 这 个 行业 最 有 趣 的 地 方 在 于 DSP 和 广告 主 之 间 的 赌局 ， 如 果 





图 3-28 ”预测 点 击 


这 种 情况 下 ， 一 般 有 两 个 解决 办 法 : 一 是 玄学 ; 二 是 统计 模型 。 一 般 都 倾 回 
于 选择 后 痢 。 


建 模 的 思路 如 图 3-29 所 示 。 

















图 3-29” 建 模 思 路 
由 于 因 变 量 是 0-1 型 数据 ， 所 以 使 用 逻辑 回归 模型 。 模 型 结果 分 三 个 方面 叙 
述 : 


(1) ADX 平 台 。 和 淘宝 的 ADX 平 台 相 比 ， 百 度 平台 上 的 流量 的 点 击 率 要 高 一 
， 而 爱 奇 艺 、iW 氨 等 平台 上 的 点 击 率 要 低 一 些 〈 见 图 3-30) 。ADX 平 台 上 的 点 击 
ee Eb 原 因 是 : 不 同 ADX 平 台 上 的 APP 媒 体 不 同 。 


ADXI 革 准 :Tanx) 


Te 出 ao 科 记 和 飞 Adnew Immobi 学 责 下 下 百度 
图 3-30 ADX 平 台 回 归 系 数 展示 


(2) 手机 品牌 。 以 OPPO 为 基准 ， 主 流 手 机 品牌 的 点 击 率 都 要 局 一 些 〈《 见 图 
3-31) 。 其 中 ， 进 口 手机 如 芋 末 和 三 星 的 点 击 率 较 局。 手机 品牌 点 击 率 兰 异 的 原因 
人 
吸引 力 。 
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手机 品牌 {基准 :PPO) 


芝 鸭 生 这 峙 这 中 站 其 他 蔷 洪 SE 二 


图 3-31 手机 品牌 回归 系数 展示 
(3) 其 他 变量 。 其 他 变量 的 估计 结果 如 表 3-1 6 所 未 。 
表 3-16 模 型 的 估计 结果 


UI010 日.0020 DOD30 


DB 


变量 估计 标准 误差 Z 值 显著 性 水 平 


截 中 项 6. 57 0. 12 54, 79 其 
竞拍 底价 317. 74 46. 13 6. 89 % 关 关 
开 屏 广告 2. 36 0. 19 12. 53 器 
移动 0. 12 0. 03 3. 50 尖 关 并 
联通 人] 0. 04 一 2.63 其 
电信 0.0] 0. 04 0. 19 
Wifi 0. 12 0, 03 4, 21 闫 六 
移动 数据 一 一 未 天 一 0. 27 0.61 一 0. 44 
移动 数据 一 一 2G 0. 11 0. 10 1. 19 
税 动 数据 一 一 3G 0. 42 23 1. 86 
移动 数据 一 一 4G 一 0. 22 0. 11 —1. 98 5 
平板 设备 —0.03 0. 15 —0. 23 
方形 图 片 1 0, 20 6, 30 尖 六 
大 与 局长 图 片 0. 26 0.04 Tl % 关 
其 他 形状 图 片 一 0. 23 0. 18 一 1. 28 
下 午 0. 18 0, 03 6. 89 兴 关 关 
晚上 0. 19 0.03 6. 82 关 关 关 


说 明 ，**#* 代 表 0.001 显 著 ; ** 代 表 0.01 显 著 ; * 代 表 0.05 显 著 : . 代表 0.1 显 著 。 


可 以 看 出 ， 竞 拍 底价 越 高 的 广告 ， 点 击 率 越 高 ， 开 屏 广告 的 点 击 率 高 ， 未 知 
运营 商 作为 基准 ， 移 动 和 联通 的 用 户 点 击 率 明显 低 ， 网 络 设备 方面 ，W 氨 用户 的 点 
击 率 明显 高 ，4G 用 户 的 点 击 率 明显 低 :和 小 号 扁 长 图 片 相 比 ， 大 号 扁 长 图 片 的 点 
直率 明显 高 ， 而 方形 图 片 的 点 击 率 低 ， 时 间 方面 ， 下 午 和 蜀 上 的 点 击 率 者 高 了 上 


产业 应 用 


假设 已 经 能 够 预测 一 条 流量 是 售 点 击 ， 那 么 接 下 来 能 做 什么 呢 ? 记得 这 行 的 
买卖 规则 吗 ? 是 竞 扫 ， 所 以 当知 道 了 流量 的 好 坏 ， 会 做 出 如 下 次 


束 : 对 优质 沉 量 出 高 价 ， 对 劣质 流量 出 低 价 〈 克 几 3-32) 。 








图 3-32 


如 何 出 价 呢 ? 
人 
志和 埋 府 又 六 攻 一 单位 反击 私 本 


氮 击 率 是 模型 预测 的 ， 单 位 点 击 成 本 是 目 己 设 定 的 ， 那 么 出 价 惑 可 以 知道 
了 了。 这 么 出 价 有 什么 好 处 ? 假设 只 有 一 个 驶 争 对 于 ， 对 于 竞争 对 于 低估 的 说 量 ， 
按照 维 死 里 拍卖 规则 ， 出 低 价 买 到 了 ， 这 是 喇 到 了 便宜 。 对 于 竞争 对 手 高 佑 的 流 
量 ， 是 买 不 到 的 。 有 没有 可 能 苋 搜 对 手 一 下 局 信和 呢 ? 如 末 苋 争 对 手 化 局 价 洋流 量 
加 来 ， 成 本 一 定局 ， 因 此 给 广告 主 的 出 价 也 低 不 了 。 那 我 们 瓯 可 以 通过 欣 场 脚 的 
方式 ， 和 争取 苋 争 对 手 的 广告 主 资源 了 。 


温 蕉 提醒 : 进入 狗 能 会 公众 号 (CluBear) 输入 文字 : “RTB”， 听 导 姐 音频 ! 





定 序 回归 一 一 信用 卡 俐 期 数据 分 析 
信用 卡 逾 期 


进入 移动 互联 金融 时 代 ， 持 卡 人 的 消 绩 、 还 球 等 使 用 行为 已 经 成 为 个 人 征 信 
的 重要 依据 之 一 。 通 期 还 球 会 给 持 卡 人 留 下 不 良 信用 记录 ， 会 对 持 ” 卡 人 今后 的 贷 
蒜 等 行为 的 顺利 进行 造成 不 利 有 影响。 那么， 什么 样 的 人 容易 发 生 信用 卡 人 道 期 行为 
呢 ? 哪些 因 素 会 影响 逾期 行为 的 严 草 程度 呢 ? 本 案例 收集 了 信用 卡 俐 期 行为 的 相 
oe 党 试 建立 统计 模型 探 客 持 卡 人 诞 期 行为 的 影响 因素 ， 并 对 道 期 状态 开展 
了 预测。 


数据 来 源 和 说 明 
本 采 例 所 使 用 数据 来 目 条 银行 的 信用 卡 用 户 俐 期 相关 数据 ， 共 包含 8371 条 记 


录 。 i ago 办 变量 ， 用 户 的 个 人 特征 和 行为 特征 作为 目 变 量 
( 见 表 3-17) 。 


表 3-17 数 据 变 量 说 明 表 









1 王 逾 期 1~30 天; 



















2 一 逾期 31 一 60 天 ; 建 模 过 程 
因 变 量 定 序 变量 | 3 一 逾期 61~90 天 ;| ”分 为 两 步 
(8 种 状态 ) | 4 二 逾期 91~120 天 ; | (1) 0-1 回 归 ; 
5 二 逾期 121~150 天 ;| (2) 定 序 回 归 
6 二 逾期 151 一 180 天 ， 
7 二 逾期 180 天 以 上 
男性 占 比 68. 2% 


取 值 越 大 ， 
使 用 频率 越 高 






住房 贷款 “| 定性 变量 | 没有 /有 住房 贷款 | 无 房贷 占 比 82.9% 
历史 逾期 行为 | 定性 变量 | 没有 /有 历史 逾期 行为 | 无 历史 逾期 51.7% 
没有 /有 开户 行为 | 有 开户 行为 74.0% 






因 变 量 什 期 状态 包含 8 种 情况 ， 属 于 定 序数 据 (ordinal data) 。 由 图 3 3 3 可 以 
看 出 ， 频 数 最 蜗 的 是 没有 车 期 ， 其 次 是 痢 期 31~~60 天 ， 而 舍 期 90 天 以 上 的 行为 较 
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图 3-33” 通 期 状态 分 布 柱 状 图 
描述 性 分 析 


考 夸 性 别 、 有 无 住房 贷 灵 等 日 变量 与 舍 期 状态 乙 间 的 关联 。 从 图 3-34 可 以 看 
出 ， 在 整体 人 和 群 中 ， 男 性 大 多， 但 男女 比例 在 各 痢 期 状态 锚 别 不 明显 ; 在 整体 人 
群 中 ， 无 住房 贫 球 占 比 更 大 ， 但 有 无 住房 贫 球 的 比例 在 各 但 期 状态 氏 别 不 明显 ; 
历史 痢 期 行为 在 各 俐 期 状态 开 卉 十 分 明显 ， 即 有 历史 俐 期 行为 的 人 更 容易 发 生 逾 
期 ; 在 整体 人 群 中 ， 有 开户 行为 的 导 多 ， 但 开户 行为 在 各 填 期 状态 兰 开 个 明显 。 


在 信用 卡 使 用 率 方 面 〈 上 见 图 3-353) ， 从 平 区 水 平 看 ， 没 有 道 期 行为 的 人 群 ， 信 
用 卡 使 用 京 比 有 人道 期 行为 的 人 群 低 ， 而 有 途 期 行为 的 人 群 的 信用 


卡 使 用 率 并 没有 明显 规律 ， 在 信用 卡 额 度 方面 ， 从 平均 水 于 上 看 ， 信 用 卡 籁 
及 较 低 的 人 群 更 倾 同 于 道 期 。 
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图 3-34” 性别、 住房 贫 球 、 开 户 行 为 、 历 史 逾 期 与 逾期 行为 的 塌 状 图 
加 归 分 析 


由 以 上 分 析 可 知 ， 信 用 卡 的 使 用 率 、 和 弧度 和 历史 诞 期 行为 都 可 能 会 ”影响 什 期 
行为 的 有 发生 。 由 此 ， 奉 直接 使 用 定 序 回 归 模 型 进行 建 醒 ， 了 预测 效 末 会 比较 寺 ， 无 
俐 期 行为 和 俐 期 30 天 以 内 无 法 显 半 地 区 分 ， 因 此 分 为 两 步 建 模 更 好 :第 一 步 : 0-1 
是 归 ， 预 测 是 否 有 痢 期 行为 ， 第 二 步 : 定 序 回归 ， 预 测 逾 期 行为 严重 程度 。 定 序 


回归 模型 结果 如 表 3-18 所 示 。 
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图 3-35 信用卡 使 用 率 、 额 上 度 与 征 期 行为 的 柱状 图 
表 3-18 定 序 回 归 模 型 结果 





截 距 项 一 一 ]/2 一 0.89 兴 一 站 55 兴 因 变 量 共 3 个 水 平 ， 有 





截 距 项 一 273 0.90 a* 0.54 2 个 稚 妈 系数 全 计 全 
性 别 一 一 女性 —0.15 兴 一 0.09 兴 基准 组 ,男性 
使 用 率 0. 18 中 0. 10 x 
信用 卡 额度 一 0.25 共 一 0 15 闪 
房贷 一 一 有 贫 炎 一 0.08 一 0.05 基准 组 ， 无 房 优 
I 0.28 0.17 x 基准 组 : 无 历史 逾期 


logit 模型 probit 模型 


变量 备注 
肖 回归 系数 p 值 ”回归 系数 ”p 值 
0 本 1 0 17 ¥ 0.09 其 此 准 组 : 盛开 J 本 行 为 
导 模 型 全 畦 | 
全 代 人 于 户 值 二 0.001 户 值 二 0.001 
"| 可 旺 


说 明 : (1) * 代 表 0.05 显 兰 。 2) 诞 期 超过 90 天 的 观测 占 比 很 小 ， 直 接 做 定 序 加 
归 预 测 效果 达 ， 因 此 将 俐 期 90 天 以 上 的 合并 ， 定 序 回归 建 模 因 变 量 只 有 3 个 水 平 。 


由 此 可 以 看 到 ， 在 控制 其 他 因素 不 变 的 情况 下 : (1) 男性 人 群 逾期 程度 比 女 
性 人 群 更 严重 ; (2) 信用 卡 使 用 越 频 索 ， 填 期 行为 越 严 重 ， (3) 信用 卡 额 度 越 
低 ， 征 期 行为 越 严 重 ，《〈4) 存在 历史 诞 期 行为 的 人 群 更 容易 及 生 道 期 行为 ; 
(5) 存在 开户 行为 的 人 和 群 更 容易 发 生 诞 期 行为 ，《〈6) 有 无 住房 贫 球 对 是 奋发 生 
俐 期 行为 的 影响 并 不 显 车 。 


在 本 案例 中 ， 诞 期 行为 产 重 程度 的 定 序 回归 的 预测 效 束 赤 ， 可 能 的 原因 有 : 
(1) 目 变 量 较 少 ， 缺 少 对 秆 期 行为 严重 程度 的 深入 理解 ， 《2) 定 序 回归 对 于 临 
界 值 估计 的 欠缺 导致 预测 效果 较 差 ，(3) 因 变 量 中 严重 逾期 行为 和 逾期 行为 本 号 


没有 显 考 甜 弄 。 


温 各 手眼 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 信 用 卡 ”， 听 水 妈 音 
频 ! 


计数 回忆 一 一 英超 进 球 谁 最 强 


类 超 联赛 


英格兰 足球 超级 联赛 〈 人 简称 现 超 ) 是 英格兰 足球 总 会 下 属 的 职业 足球 联赛 ， 
是 欧洲 五 大 联赛 之 一 ， 由 20 文 球 队 组 成 。 现 超 成 立 于 1992 年 2 月 20 日 ， 其 前 身 是 英 
格 兰 足 球 甲 级 联赛 。 区 超 一 直 以 来 被 认为 是 世界 上 最 好 的 联赛 之 一 ， 帮 和 雪 快 、 驶 
ME 体育 强 事 ， 也 是 收入 最 高 的 足球 
联赛 。 


大 超 赛 场 上 诞生 了 许多 伟大 球员 《上 见 图 3-36) ， 已 经 退役 的 着 名 球员 包括 亨利 
《阿森 纳 ) 、 言 格 斯 〈 曼 联 ) 、 阿 兰 布 勒 〈 纽 卡 斯 尔 ) 等 。 随 看 科技 的 发 展 和 大 
数据 产业 的 兴起 ， 传 统 的 足球 费事 逐渐 与 新 兴 的 数据 分 析 相 结合 ， 这 种 趋 劳 将 足 
球 产 业 的 用 展 推 癌 了 狐 的 高 度 。 





姓名 : 保罗 ' 博 格 巴 姓名 : 塞 尔 吉 奥 , 阿 桂 罗 姓名 : 梅 苏 特 ' 厄 齐 尔 姓名 : 埃 登 - 阿 扎 水 


位 置 : 中 场 位 置 ; 前 锋 位 置 : 中 场 位 置 : 中 场 
特点 : 身体 强壮 、 ”特点 : 射门 精准 . 特点 : 传 球 精准 、 特点 : 盘 带 出 色 . 
护 球 能 力 强 速度 惊人 团队 意识 强 爆发 力 强 


图 3-36 ”现役 著名 球员 
数据 来 源 和 说 明 


本 守 例 收集 了 2012 一 2013 赛 季 的 瑞 超 赛事 数据 。 数 据 集 记录 了 16 文 球 队 的 部 
分 球员 〈166 位 ) 在 当前 赛季 的 各 种 表现 以 及 下 个 赛季 的 进 球 数 〈 见 表 3-19) 。 


表 3-19 变 量 说 明 


变量 类 型 变量 名 详细 说 明 备注 
因 变 量 下 千 季 进 球 数 计数 变量 单位 , 个 3 


场 上 位 置 是 定性 变量 ， 有 年 龄 和 场 
3 个 水 平 〈 前 锋 、 中 场 、 上 位 置 用 
后 卫 ) 于 建 模 


球员 姓名 、 年 龄 、 所 属 球 队 、 


、，，，，， 出 场次 数 、 首 发 次 数 、 出 场 时 __，_ ，， ，、，，。 首发 次 数 
球员 出 现 情 席 ， a 三 者 正 向 线性 相关 性 较 训 
球员 出 现 情况 (pg 首 正 向 线性 相关 性 较 高 “后生 奸 如 
续 玉 表 
变量 类 型 变量 名 详细 说 明 备注 
射门 次 数 、 射 正 次 数 、 进 球 数 射门 成 功率 率 = 射 正 次 
球员 射门 表现 〈 头 球 、 左 脚 、 右 脚 、 任 意 球 、 数 /射门 次 数 ， 是 评价 射 
点 球 、 乌 龙 球 ) 手 的 重要 指标 
助攻 、 传 球 、 过 人 、 抢 岂 、 属 
球员 场 上 表现 得 点 球 机 会 、 拦 截 、 解 围 ( 头 单位 :次 一 
球 、 后 场 )、 头 球 争 冉 成 功 
球员 犯规 傅 沈 超 位 犯规 所 牧 责 牌 四: 次 一 


本 案例 的 数据 虽然 略 陈 肯 ， 来 自 2012 一 2013 赛 季 ， 但 数据 分 析 思 路 可 以 借 
鉴 ， 对 于 评价 球员 场 上 表现 以 及 预测 球员 下 赛季 进 球 有 一 定 帮 助 。 


进 球 表现 


将 2012 一 2013 赛 季 英 超 球 队 的 进 球 失 球 比 标注 在 地 图 上 “〔〈 见 图 3-37) 。 这 个 赛 
季 的 三 甲 球 队 分 别 是 曼联 、 曼 城 和 切尔西 。 冠 军 曼联 进 球 数 86 个 ， 在 所 有 球 队 中 
半 壮 领先 ， 进 球 失 球 比 高 达 2。 亚 军 曼 城 昌 然 进 球 数 不 多 (66 个) ， 但 凭借 坚固 的 
防守 ， 失 球 数 最 少 (34 个 ) ， 进 球 失 球 比 是 1.94。 季 军 切 尔 西 队 的 进 球 失 球 比 为 
1.92 。 

2012 一 2013 宫 季 的 最 佳 射手 前 三 名 分 别 是 范 侯 西 、 办 亚 下 斯 和 贝尔 ， 进 球 数 
分 别 是 26 个 、23 个 和 23 个 。 在 下 一 赛季 ， 苏 亚 雷 斯 表现 突出 ， 一 举 登 上 射手 榜首 
位 ， 进 球 数 达到 31 人 个。 而 贝尔 则 在 下 一 喜 季 转 会 西班牙 星 家 马德里 。 

描述 性 分 析 

数据 集中 的 166 位 球员 有 86 人 是 中 场 ，$0 人 是 后 卫 ，30 人 是 前 锋 。 如 图 3-38 上 所 


示 ，2012 一 2013 赛 季 页 献 了 624 个 进 球 。 前 锋 位 置 的 球员 的 人 均 进 球 数 与 最 大 进 球 
数 均 为 最 高 ，30 位 前 锋 共 页 献 了 2 6 4 个 进 球 ， 占 总 进 球 数 的 42.31%; 后 卫 球 员 的 


人 均 进 球 数 和 最 大 进 球 数 均 为 最 低 。 其 中 ， 进 球 最 多 的 前 锋 为 范 候 西 26 个 ) ， 
中 场 为 本 特 克 〈19 个 ) ， 后 卫 为 伊 万 和 贝 恩 期 (各 5 个 )。 
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图 3-37 2012 一 2013 赛 季 英 超 球 队 进 球 失 球 比 
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场 上 位 置 
图 3-38 


因子 分 析 


为 了 评价 球员 在 场 上 的 整体 表现 ， 从 数据 集中 选取 了 22 个 拉 术 指标 进行 因子 
分 析 。 因 子 分 析 是 多 元 统计 中 的 降 维 方法 ， 目 的 在 于 寻找 影响 一 组 变量 的 公共 潜 
在 因素 。 这 22 个 指标 之 间 的 相关 性 如 图 3-39 所 示 。 部 分 变量 的 线性 相关 性 较 强 〈 例 
如 射门 次 数 和 射 正 次 数 ) ， 数 据 集 比较 适合 进行 因子 分 析 。 
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图 3-39 


因子 分 析 的 结果 表明 ， 保 留 3 个 公共 因子 ， 累 计 方 关 页 献 率 可 以 达到 38.829%6。 
根据 主 成 分 法 估计 的 因子 载荷 矩阵 ， 三 个 因子 分 别 为 进攻 因子 、 防 守 中 场 因 子 和 
防守 后 卫 因 子 。 根 据 因子 得 分 ， 分 别 找 出 了 在 三 个 因子 上 得 分 最 高 的 球员 ， 代 表 
进攻 型 、 防 守 中 场 型 和 防守 后 卫 型 球员 。 进 攻 能 力 、 防 守 中 场 能 力 和 防守 后 卫 能 
力 最 强 的 三 位 球员 分 别 是 苏 亚 雷 斯 、 阿 尔 特 塔 和 本 特 克 。 


表 3-20 三 个 公共 因子 得 分 前 10 名 的 球员 


PT 
排序 综合 能 力 强 的 球员 


进攻 能 力 防守 中 场 能 力 防守 后 卫 能 力 

l 浆 亚 雷 斯 阿尔 特 塔 本 特 克 
2 范 佩 西 施耐德 林 雷 德 

3 本 特 殉 加 德 纳 克拉 克 
4 登 巴 巴 杰 拉 德 威廉 斯 
5 贝尔 巴 托 去 帆 恩 斯 胡 特 

6 马 塔 西 德 维尔 科林斯 
7 添 尔 科 特 卡 里 殉 殉 劳 育 
8 吉 和 鲁 奥斯曼 肖 殉 罗斯 
0 费 汪 尼 语 布 尔 阿 格 包 
10 哲 科 兰 吉 未 内 吝 








因子 分 析 的 结果 只 是 基于 本 案例 的 样本 数据 ， 由 于 收集 到 的 场 上 技术 指标 并 
不 全 面 〈 例 如 传 球 成 功 次 数 、 控 球 时 间 等 关键 指标 未 考虑 ) ， 对 于 “球员 的 整体 评 
价 无 法 做 到 完美 。 


加 归 分 析 
在 统计 建 模 部 分 ， 本 案例 利用 年 龄 、 场 上 位 置 、 首 发 次 数 、 上 一 赛季 进 球 数 


以 及 三 个 公共 因 了 于， 来 预 出 下 一 赛季 进 球 数 。 由 于 进 球 数 属于 计数 型 数据 ， 因 此 
选择 泊 松 回归 模型 。 利 用 AIC 准 则 进行 模型 选择 之 后 的 结 末 如 表 3-21 所 未。 





表 3-21 AIC 模 型 估计 结 
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年龄 


Es 
场 上 位 置 :前锋 | 1.475 和 
场 上 位 置 , 中 场 il 
防守 中 场 因 子 
防守 后 卫 因子 
异型 整体 显著 性 检验 





0 179 





AIC 模 型 保留 的 变量 在 0.05 的 显著 性 水 平 下 均 显 车 。 具 体 而 言 ， 控 制 其 他 因素 
不 变 的 情况 下 ， 球 员 的 年 龄 越 大 ， 进 球 数 越 少 ， 对 于 场 上 位 置 指 标 ， 前 锋 球员 、 
中 场 球 员 的 进 球 数 都 高 于 后 卫 球 员 ; 本 赛季 进 球 数 越 多 ， 下 费 季 进 球 数 也 越 多 ; 
防守 中 场 因子 得 分 越 高 ， 进 球 数 就 越 多 〈 防 守 型 中 场 球 员 的 进 球 可 能 性 高 ) ; 防 
守 后 了 因子 得 分 越 高 ， 进 球 数 就 越 少 (防守 型 后 卫 球 员 进 球 可 能 性 低 ) 。 这 些 结 
论 与 大 众 对 于 足球 比赛 的 认 知 都 是 相符 的 。 





进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 碳 超 ”， 听 水 妈 音 频 ! 


生存 回归 一 一 新 产品 在 以 时 长 研 窜 





生存 数据 


生存 回归 起 源 于 医学 领域 ， 例 如 分 析 瘤 钙 病人 的 存活 概率 。 近 年 来 ， 生 存 回 
归 分 析 补 广 沁 应 用 于 诺 如 市 场 营销 、 人 力 资源 等 管理 学 领域 。 例 如 ， 它 可 以 帮助 
企业 人 力 资 源 部 门 分 析 员 工 的 离职 情况 ， 在 各 户 关 系 过 理 中 分 析 影 响 和 客户 流 撩 的 


生存 数据 的 最 大 特点 束 古 截断 ， 即 在 示 个 观测 期 内 ， 有 的 个 体 可 以 观测 到 确 
切 的 “死亡 时间， 而 有 的 个 体 则 观测 不 到 观测 期 末 仍 然 存 活 〉。 在 定理 学 领域 ， 
很 多 有 趣 的 问题 适合 采用 生存 回归 分 析 。 本 守 例 就 以 某 超 市 在 售 的 全 品类 洗 发 水 
数据 为 例 ， 研 究 独 产品 在 架 时 长 的 影响 因 系 。 


数据 来 源 和 说 明 


超市 中 贷 染 产品 的 撑 放 是 一 门 和 学问。 超市 的 货架 空间 有 限 ， 对 于 新 上 架 的 产 
品 ， 其 在 架 时 长 会 受到 哪些 因素 的 影响 ? 合理 安排 每 种 产品 的 在 架 时 长 不 仅 可 以 
有 效 利 用 货架 空间 ， 而 且 可 以 极 大 地 促进 超市 的 整体 销售 。 


本 守 例 所 用 数据 来 目 国内 茶 大 型 连锁 超市 所 有 在 售 的 洗 发 水 数据 ， 共 记录 了 
从 2010 年 7 月 到 2013 年 12 月 29295 条 观测 。 所 要 研究 的 是 新 产品 的 在 架 时 长 ， 那 么 
如 何 定义 新 产品 呢 ? 为 此 可 以 人 为 地 将 2010 年 7 一 9 月 三 个 月 作为 新 产品 识别 期 ， 
这 三 个 月 在 售 的 洗 发 水 并 不 是 我 们 的 研究 对 象 ， 所 以 可 以 看 到 ， 根 据 本 案例 的 研 
究 回 题 ， 观 测 时 间 段 并 不 是 从 2010 年 7 月 开始 ， 而 是 从 2010 年 10 月 开始 。 当 数据 清 
理 成 适合 做 生存 分 析 的 结构 后 ， 接 下 来 我 们 整理 了 应 用 于 回归 分 析 的 香干 目 弯 
量 ， 有 共 体 变量 说 明 如 表 3-22 上 所 示 。 











表 3-22 数 据说 明 


下 所 做 了 区 
到 做 了 区 





200ml，400ml, 


150ml, 1 000ml 
蔡 换 了 原 有 


数据 中 的 品牌 名 
根据 品牌 名 
进行 划分 
根据 字段 
粗略 划分 





会 制 的 因 变 量 在 架 时 


描述 性 分 析 
下 面 对 因 变量 产品 的 在 架 
长 的 生存 函数 曲线 如 图 3-40 所 示 。 
从 图 3-40 可 以 看 出 ， ,有 超过 40% 的 疡 品 仁 来 时 长 邦人 在 30 个 月 以 上 。 接 下 来 选取 


几 个 目 变 量 进行 分 组 的 描述 性 分 析 。 加 入 会 员 微 信 whair004 


染 时 长 进行 便 蛙 的 摘 述 性 分 析 。 


1.0 


.8 


0.6 


生 行 概率 


Ud 


0.2 





U0 


0 1 20 3{) 
生存 时 间 : 月 份 


图 3-40 ”在 架 时 长 的 生存 函 线 曲线 


(1) 关于 洗 发 水 的 功能 ， 从 图 3-41 可 以 看 出 ， 烛 油 功能 的 洗 发 水 的 生存 概率 
较 其 他 三 种 功能 洗 发 水 的 生存 概率 要 大 (生存 曲线 越 靠 上 说 明生 存 概率 越 大 )。 





人 其 他 |。 烛 油 功能 洗 发 水 的 生存 概率 较 
人 局 | 其 他 三 种 功能 洗 发 水 的 生存 要 
率 要 大 


。 人 发 水 的 生存 概率 


0 10 20 30 
生存 时 间 : 月 份 
图 3-41 ”分 组 描述 性 分 析 功能 
(2) 关于 洗 发 水 所 属 公司 ， 从 图 3-42 可 以 看 出 ， 联 合 利 华 公司 的 洗 发 水 生存 


概率 要 明显 低 于 其 他 两 组 。 总 体 来 看 ， 其 他 公司 的 洗 肥 水 生存 概率 较 局 。 其 他 目 
变量 的 分 组 描述 性 分 析 融 不 在 此 一 一 资 述 了 。 





1 .0 


。 联 合 利 华 公司 的 洗 发 水 生存 概率 
要 低 于 其 余 两 组 


。 总 体 来 看 ， 其 他 公司 的 洗 发 水 
生存 概率 较 疝 


生存 概率 


00 02 04 0.6 0.8 





10 20 30 
生存 时 间 : 月 份 
图 3-42 ”分 组 摘 述 性 分 析 一 一 一 所 属 公司 
回归 分 析 


对 变量 进行 描述 
据 建 模 。 


加 速 死亡 模型 假设 为 Weibull 分 布 ， 从 两 个 模型 估计 的 结果 来 看 只 有 所 属 公司 
这 个 变量 是 显著 的 。Cox 模 型 是 对 “风险 ”进行 建 模 ， 所 以 Cox 模 型 系数 估计 的 方向 


性 分 析 之 后 ， 采 用 加 速 死 亡 模 型 和 和 Cox 等 比例 风险 模型 来 对 数 












和 加 速 死亡 模型 系数 估计 的 方 回 是 完全 相反 的 。 以 所 属 公 司 这 个 变量 为 例 ， 在 加 
速 死 亡 模 型 中 ， 解 读 为 : 相对 于 其 他 公司 的 洗 发 水 ， 联 合 利 华 公司 的 洗 发 水 生存 
时 间 更 短 ; 在 Cox 模 型 中 的 解读 为 : 相 比 其 他 公司 的 洗 发 水 ， 联 合 利 华 公司 洗 发 水 
的 生存 风险 较 高 〈 换 言 之 ， 生 存 时 间 较 短 ， 与 加 速 死 亡 模 型 的 解 谈 一 致 ) 。 
表 3-23 模 型 分 析 一 一 一 加 速 死 亡 模型 
变量 P 值 备注 
种 数 项 <0. 001 
Kk 人 到 
规格 ，200ml 
规格 .400ml ). 196 基准 组 . 1 000ml 
规格 ，750ml 510 














功能 ,其 他 0. 139 
公司 : 宝洁 0. 678 ee 
一 一 一 一 基准 组 ,其 他 
公司 ， 联 合 利 华 <0.00] 


表 3-24 模 型 分 析 








基准 组 : 炮 油 











Cox 等 比例 风险 模型 








A 和 
规格 ，400ml 0. 200 基准 组 ，1 000ml 
能 
亲本 可 0 
机能， 才 
| 妆 泪 和 
公司 ; 联合 利 华 


本 采 例 具有 一 定 的 研究 局 限 性 ， 截断 数据 较 多 ( 约 为 64%) ， 导 致 生存 函数 首 
信和 区间 的 上 限 无 法 信 计 ， 因 此 未 来 的 改进 方 回 是 : (1) 扩大 观测 时 间 段 ， (2) 
考虑 锡 辑 回归 。 有 具有 解释 力 的 目 变 量 个 数 太 少 《〈《 只 有 所属 公司 ) ， 有 可 能 是 对 目 
变量 的 定义 过 于 粗糙 ， 比 如 功能 这 个 变量 目前 只 分 离 了 四 个 ， 可 以 考 夸 更 加 细致 
的 划分 ， 此 外 连续 型 变量 也 可 以 若 夸 前 三 个 月 平均 利润 、 成 本 等 。 


温 区 提醒 : 进入 狗熊 会 公众 号 〈CIuBear) 输入 文字 :“ 静 静 ”， 听 静 静 音频 ! 





第 四 章 / Chapter Four 人 机 毅 学 习 





本 草 分 至 力 一 大 类 非 第 重要 的 数据 分 析 手 段 机 血 学 习 。 那 么 到 压 什 么 
是 机 可 学 习 ? 它 跟 回归 分 析 的 关系 古 上 怎样 的 ? 关于 这 两 个 问题 ， 每 个 人 的 看 法 十 
不 一 样 的 ， 这 依赖 于 我 们 对 于 “机 如 和 学 习 ” 和 “回归 分 析 ” 的 定义 。 如 来 定义 回归 分 析 
为 第 三 草 所 分 亨 的 各 种 线性 便 型 ， 那 么 机 规 学 习 不 是 回归 分 析 的 范畴 ， 因 为 机 纶 
学 习 所 涉及 的 模型 几乎 部 是 非 线 性 的 。 但 是 ， 如 来 定义 回归 分 析 为 所 有 关乎 ”( 包 
括 可 观测 到 的 和 不 可 观测 到 的 ) 和 X 的 相关 性 ， 那 么 机 右 学 习 中 的 大 量 方 法 部 是 回 
归 分 析 的 范畴 ， 只 不 过 是 非 线 性 的 。 


从 后 一 个 角度 看 ， 典 型 的 机 副 学 习 方 法 (村 和 双 贝 叶 斯 、 文 持 癌 量 机 、 和 神经 网 
络 、 决 策 树 等 ) ， 同 第 见 的 各 种 线性 回归 模型 ， 并 没有 本 质 的 区 别 。 但 是 ， 由 于 
机 郝 学 习 方法 大 量 采 用 非 线 性 手段 ， 因 此 对 于 数据 稍 各 共有 更 好 的 拟 合 优 度 。 这 
种 更 好 的 拟 合 优 度 并 不 一 定 能 够 转化 为 更 好 的 预测 精度 。 这 非 第 依赖 于 具体 的 数 
据 和 应 用 场景 。 事 实 上 ， 简 单 的 方法 往往 更 容易 胜出 。 此 外 ， 作 为 非 线 性 方法 ， 
机 才学 习 的 模型 输出 《除了 雇 胰 树 以 外 ) ， 可 解读 性 都 不 好 。 当 然 ， 在 很 多 应 用 
场景 下 《例如 个 性 化 推荐 ) ， 解 读 似 乎 并 不 重要 。 不 过 ， 也 有 很 多 应 用 场景 ， 人 
们 需要 知道 其 背后 的 故事 。 


简单 妃 结 ， 机 融 学 习 代 表 看 一 大 类 非 第 优 夯 的 数据 模型 分 析 方 法 ， 是 立 忘 成 
为 数据 科学 家 的 朋友 的 必修 识 。 但 是 ， 也 不 要 过 分 俐 话 它 ， 既 要 看 到 它 的 优点 ， 
也 要 看 到 它 的 不是。 下 和 耐 束 分 至 一 些 采 用 机 融和 学 习 方法 的 柔 例 ， 主 要 涉及 的 方法 
有 : 梓 么 内 叶 其 、 决 遍 树 《 合 随 机 森林 ) 、 储 经 网 络 〈 合 深度 乞 习 ) 、 均值 聚 
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朴素 贝 叶 斯 12345, 有 事 找 政府 


迪 到 问题 ， 该 找 谁 ? 


在 生活 中 ， 篆 第 会 遇 到 一 些 突 发 情况 ， 需 要 诉 诸 政 府 部 门 或 是 专门 的 机 构 来 
解决 。 比 如 ， 当 遇 到 偷 次 抢劫 或 是 打架 斗殴 等 治安 问题 时 ， 自 然 会 想到 拨打 1 10 来 
解决 ， 当 人 壳 到 火灾 时 ， 必 然 会 拿 起 手机 拨打 119;， 当 身边 的 杀人 或 朋友 突 友 疾病 
时 ， 可 以 拨打 120。 


然而 ,日 常生 活 中 过 到 的 问题 远 不 止 这 些 ， 比 如 ， 街 边 有 一 个 下 水 道 井盖 坏 
了 ， 应 该 找 谁 来 维修 呢 ? 小 区 附近 有 一 处 建筑 工地 昼夜 施工 ， 严 重 影响 了 周围 届 
民 的 休息 ， 应 该 癌 谁 反映 呢 ? 上 下 班 乘 坐 的 公交 车 总 是 上 晚点， 又 该 如 何 解 次 呢 ? 
事实 上， 为 了 方便 与 市 民 的 沟通 交流 ， 解 决 生活 中 会 遇 到 的 各 种 各 样 的 民生 问 
题 ， 各 地 市 政府 大 多 开通 了 政府 便民 服务 电话 “12345”， 市 民 可 以 通过 热线 回 政府 
部 门 提 出 建议 、 意 见 或 进行 投诉 、 举 报 等 。 
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市 民 热 线 和 头疼 的 老 王 


通过 “12345” 政 府 便 民 服 务 电 话 ， 市 民 可 以 全 天 低地 反映 身边 大 大 小 小 的 问 
题 ， 将 目 且 的 诉求 诉 诺 政府 部 门 ， 以 期 解决 。 便 民 服 务 电 话 虽 然 方便 了 人 民 和 群众 
的 生活 ， 却 让 电话 后 台中 心 的 负 贡 人 老 王 犯 了 愁 。 市 民 服 务 热线 实行 的 是 “一 写 对 
外 、 集 中 受理 、 分 类 处 置 、 协 调 联 动 、 限 时 办 理 ” 的 工作 机 制 。 也 就 是 说 ， 当 市 民 
拨打 “12345” 热 线 电话 后 ， 电 话 首先 会 由 呼叫 中 心 热线 接听 专员 接听 。 热 线 接 听 专 
员 接 听 群 众 来 电 后 ， 对 能 直接 解答 的 咨询 闫 问题 ， 依 据 知 识 库 信 息 直 接 解 丛 ， 对 
于 不 能 直接 解答 的 ， 例 如 投诉 闫 的 电话 会 通过 电脑 直接 记录 下 来 ， 然 后 由 经 验 丰 
晶 的 工作 人 员 来 对 这 些 建议 与 投诉 进行 分 类 ， 太 时 转交 相关 区 县 、 部 门 办 理 。 相 
关 区 县 、 部 门 会 在 限定 时 间 内 进行 解决 ， 同 时 将 办 理 结 来 反馈 给 市 民 服务 热线 。 
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图 4-2 


老 干 的 工作 束 是 将 热线 接 昕 专员 记录 下 来 的 建议 和 投诉 信息 进行 分 类 ， 和 争取 
迅速 、 准 确 地 将 信息 划分 到 对 应 的 政府 职能 部 门 ， 进 行 处 理 。 对 信息 的 分 类 处 
前 ， 作 为 “1234$” 便 民 热线 工作 流程 中 连接 市 民 和 政府 职能 部 门 的 桥 区 ， 其 重要 性 
不 言 而 喻 。 如 果 不 能 准确 分 类 ， 不 仪 会 消耗 更 多 的 政府 资源 ， 还 会 拖延 问题 解决 
的 时 | 旧 ， 这 束 违 背 了 开通 服务 热线 的 初衷 。 


老 王 的 焕 恼 
老 王 作 为 便民 服务 电话 后 台中 心 的 负责 人 ， 对 如 何 提高 建议 和 投诉 信息 的 分 


关 效 率 ， 可 谓 禾 蛋 不 展 。 后 台中 心目 前 都 是 依 徘 专门 的 工作 人 员 的 经 验 来 分 类 ， 
再 统一 提交 到 相关 的 部 门 ， 可 即使 是 有 经 验 有 的 老 员工 也 常 第 出 现 分 错 的 情况 。 此 





外 ， 有 经 验 的 工作 人 员 本 吏 不 好 找 ， 巨 大 的 工作 量 之 下 ， 还 频频 及 生 员 工 格 职 或 
调 离 闵 位 的 事情 。 最 过， 由 于 市 民 对 政府 便民 热线 越 来 越 熟 悉 ， 也 越 来 越 认 可 这 
样 的 建议 和 投诉 的 方式 ， 通 过 “12345” 热 线 打 来 的 电话 越 来 越 多 。 老 王 在 欣喜 之 余 
却 更 焦虑 了 : 电话 量 激增 ， 有 经 验 的 员工 却 人 不 是， 分 闫 处 理 效率 鹃 行 所 避 。 











数据 ， 可 以 解决 问题 吗 ? 
图 4-3 


总 得 食 个 知味 的 老 王 看 看 便民 电话 后 台中 心里 每 一 条 处 理 记 录 ， 心 想 ， 要 走 
有 什么 方法 能 够 将 过 去 的 分 类 经 验 积攒 下 来 ， 其 全 能 够 根据 市 民 来 电 的 信息 记录 
目 动 分 类 ， 那 殉 好 了 。 


老 王 起 ， 最 近 那 么 流行 数据 分 析 ， 那 数据 分 析 的 方法 能 不 能 解 次 目 己 的 问题 
呢 ? 老 王 咨 询 数据 科学 家 之 后 ， 开 始 了 他 的 数据 分 析 之 旅 。 


首先 ， 他 从 刚刚 过 去 的 12 月 份 的 处 理 记 录 中 提取 了 2000 条 被 正确 分 类 的 建议 
投诉 信息 ， 包 含 市 民 建议 或 投诉 的 文本 记录 ， 以 及 最 终 受理 的 政府 部 门 。 他 想 看 
看 投诉 主要 集中 在 哪些 部 门 ， 于 是 对 记录 中 各 政府 部 门 的 受理 数量 进行 了 统计 。 
如 图 4-4 所 示 ，12 月 ， 对 市 水 务 集团 的 投诉 最 多 ， 而 市 供电 公司 与 市 房地产 集团 收 
到 的 投诉 最 少 。 老 王 猜 测 ， 这 可 能 是 因为 该 城市 为 北方 的 某 省 会 城市 ，12 月 份 气 
温 极 低 ， 水 管 容易 破裂 造成 街道 、 楼 梯 与 住房 等 地 方 结 冰 ， 影 响 人 们 的 正 篆 生 
活 ， 故 投诉 较 多 。 
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市 供电 公司 ”市 房地产 “市 公交 集团 。 市 燃气 市 运输 管理 局 市 攻 涩 集团 市 水 务 集团 
集团 公司 


单位 名 称 
图 4-4 ”12 月 份 各 政府 部 门 的 市 民 投 诉 量 
让 计算 机 “恋情 ?文本 


老 王 想 ， 不 同 部 门 的 职能 不 同 ， 受 理 的 市 民 问 题 的 内 容 是 不 是 也 会 有 区 别 
呢 ? 不 过 ， 计 算 机 可 没 法 像 人 一 样 “ 谈 情 ? 这 些 长 长 的 文本 。 为 了 让 计算 机 能 够 顺利 
处 理 文本 数据 ， 老 王选 择 了 一 种 最 典型 的 处 理 方法 。 他 将 每 一 条 投诉 建议 的 文 
本 ， 对 照 东 种 已 经 存在 的 词汇 表 ， 记 录 词 汇 表 中 每 个 词 在 每 一 条 投诉 建议 的 文本 
内 容 中 出 现 的 次 数 。 通 过 这 样 的 方法 ， 老 王 成 功 地 将 每 一 条 投诉 建议 文本 转换 成 
本 一 系列 记录 看 词汇 表 中 每 个 词 词 频 的 数学 。 


市 氏 投 诉 处 理 量 
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市 供 热 公司 


图 4-5 


之 后 ， 老 王 宅 试 对 不同 政府 部 门 接 到 的 投诉 建议 内 容 中 出 现 的 词 的 次 数 进 行 
统计 ， 并 和 宪 试 运用 “ 词 云 ”的 方式 对 结 来 进行 可 视 化 。 他 发 现 ， 供 热 集团 接受 的 投诉 
中 “室温 ”与 “效果 ”这 两 个 词 出 现 比较 频 或 。 可 以 猿 测 ， 这 些 投诉 的 大 至 内 容 可 能 是 
在 吐 械 “供暖 后 军 温 很 低 ， 效 果 人 不 好 ”*"。 而 从 水 务 溃 理 局 受理 的 投诉 建议 内 容 中 ， 则 
可 以 及 现 “ 自 来 水 ”和 “维修 ”出 现 的 频率 比较 高 ， 猪 测 可 能 是 这 段 时 间 “ 目 来 水 表 或 
者 官 过 经 第 坏 ， 圾 要 维修 ”"。 老 王 注 童 到， 不同 部 门 受理 的 投诉 建议 的 内 容 ， 不 仅 
包含 看 像 这 样 有 趣 且 有 用 的 信息 ， 似 乎 还 反映 了 不 同 部 门 的 职能 特点 。 


用 本 是 仆人 AT 


分 析 到 这 里 ， 老 王 心 里 有 了 一 个 狂 负 ， 既 然 不 同 政府 部 门 的 职能 不 ， 同 ， 胺 理 
内 容 也 可 以 看 出 有 比较 明显 的 型 弄 ， 那 么 ， 这 些 雳 卉 是个 是 束 是 所 请 有 的 “特征 ”? 可 
不 可 以 用 来 帮助 实现 目 动 化 的 投诉 建议 信息 分 类 呢 ? 老 王 想 ， 既 然 不 同 词汇 在 不 
同 部 门 的 受理 投诉 建议 内 容 中 出 现 的 次 数 有 口 有 低 ， 这 不 束 古 不同 词 汇 在 个 同类 
列 的 投诉 中 出 现 的 “概率 ”不 同 吗 ?似乎 有 一 种 叫做 村 又 贝 叶 斯 的 模型 ， 可 以 处 理 这 
样 的 情况 。 由 于 投诉 建议 的 内 容 一 般 不 长 ， 同 一 个 词 反 复出 现 的 情况 并 不 算 多 ， 
所 以 老 王 直接 将 词汇 表 中 各 个 词汇 出 现 的 次 数 ， 简 化 为 词汇 表 中 各 个 词汇 是 个 出 
现 。 








YY 变量 : 投诉 建议 的 受理 部 门 
X 变 量 : 已 有 词汇 表 中 各 个 词汇 在 投诉 建议 的 文本 内 容 中 是 人 奋 出 现 


付 桑 贝 叶 斯 分 类 的 核心 是 贝 叶 斯 定理 和 特征 条 件 独 立 假 设 。 束 老 王 面 对 的 这 
个 数据 集 来 说 ， 不 同 词汇 在 归属 于 不 同 部 门 的 投诉 建议 内 容 中 出 现 的 概率 显然 不 
问 ， 例 如 ， 所 到 “ 目 来 水 ”的 投诉 建议 属于 市 水 务 管 理 局 职能 范畴 的 可 能 性 ， 必 然 要 
高 于 属于 市 供 热 集 团 职能 范畴 的 可 能 性 。 换 句 话说 ， 当 看 到 投诉 建议 的 内 容 中 
有 “ 目 来 水 "这 个 词 时 ， 没 有 其 他 任何 信息 ， 猜 一 猜 这 条 投诉 建议 应 当 划 归 哪 个 部 
门 ， 十 有 八 九 会 猜 市 水 务 管 理 局 。 因 为 出 现 “ 目 来 水 ”这 个 词 的 投诉 建议 ， 最 后 被 归 
属于 市 水 务 管理 局 处 理 的 比例 最 局 。 那 么 ， 老 王 革 二 构造 的 词汇 表 融 可 以 派 上 用 
场 了 。 他 可 以 通过 和合 蛙 统计 ， 得 到 各 个 词汇 出 现时 (也 就 是 各 个 特征 ) 分 属于 各 
个 关 别 的 概率 。 对 于 尚未 被 分 类 的 样本 ， 老 王 上 只 再 要 信 助 基本 的 概率 论 知 识 ， 计 
算出 概率 最 大 的 那个 分 关 惑 可 以 了 。 


老 王 运用 朴素 贝 叶 斯 模型 ， 将 1600 条 投诉 建议 记录 “训练 ”得 到 了 一 个 分 类 模 
型 ， 并 将 模型 应 用 于 另外 400 条 投诉 建议 记录 ， 尝 试 预测 这 400 条 投诉 建议 记录 应 
该 被 分 到 哪 一 个 政府 部 门 〈 见 图 4-6) 。 结 果 出 来 后 ， 老 王 惊 喜 地 发 现 ， 模 型 将 投 
诉 建 议 记 有 杂 准 确 分 类 的 概 认 居然 可 以 达到 95% 左 右 ! 


老 干 心里 的 一 块 大 石头 总 算是 洲 了 地 。 在 过 去 儿 年 里 ， 便 民 服 务 电 话 后 台中 
心 早 已 累积 了 许多 投诉 建议 的 分 类 记录 ， 这 些 分 类 记录 可 痢 古 负 员 ”分 类 的 工作 人 
员 有 的 经 验 结晶 。 通 过 柑 型 ， 就 可 以 把 这 些 分 类 的 “经 验 ” 近 取出 来 ， 运 用 于 当 击 有 的 投 
诉 建议 分 类 工作 了 ! 和 而且， 运用 这 样 的 模型 ， 可 以 实现 计算 机 目 动 化 分 类 ! 目 动 
化 处 理 的 准确 率 相 比 人 工分 类 要 忆 得 多 ， 并 且 只 需要 工作 人 员 对 误 分 类 的 投诉 建 
议 进行 重新 分 类 吏 可 以 了 ， 能 够 大 大 减少 人 工 处 理 的 工作 量 。 此 外 ， 有 经 验 的 员 
站 
十 个 次 本 。 
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市 房地产 祭 团 


























市 公 宰 集团 


市 殿 电 公司 


市 供 执 集团 


市 水 过 集团 





市 房地产 集团 “市 公交 集团 。 市 殿 电 公司 。 市 殿 朴 集团 ”市 水 和 集团 “市 运 内 管理 局 。 “市 起 气 公司 
预测 凑 别 
图 4-6 


温 辟 提醒 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 市 长 ”， 听 政委 音频 ! 





淡 案 树 一 一 非 城 幻 扰 


用 数据 破解 爱情 的 密 公 


谈 及 爱情 每 个 人 都 有 目 己 的 理解 。 有 人 次 爱情 惑 是 “ 山 有 本 今 木 有 术 ， 心 悦 看 
今 帮 不知” 的 感觉 ， 有 人 说 爱情 吏 是 多 巴 胺 与 血 请 胺 随机 分 泌 的 结束 。 百 今 中 外 不 
知 多 少 迁 客 双 人 置 用 唯美 的 语句 来 赞 关 爱情 的 美好 ， 也 不 知 有 多 少 科 学 家 为 了 各 
助 早 号 狗 找到 人 生 的 为 一 半 挺 映 而 出 ， 挑 灯 夜 战 来 破解 爱情 的 密码 。 那 么 今天 就 
用 数据 科学 的 思维 来 破解 爱情 的 密 翁 。 
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“爱情 ”需求 持续 旺盛 


每 位 单身 狗 都 想 迅 速 结 束 自 己 的 单身 生涯 ， 可 是 自己 到 底 为 什么 单身 呢 ? 先 
来 分 析 下 宏观 形式 。 首 先 ， 气 国家 统计 年 鉴 中 的 数据 显示 ， 我 国生 育 的 高 峰 期 为 
1980 一 1990 年 ， 而 现在 这 部 分 人 正 处 在 27 一 37 岁 的 婚恋 需求 高 峰 期 。 其 次 ， 人 口 
比例 失调 、 流 动人 口 多 、 生 活 节奏 快 这 三 大 魔爪 更 是 伸 向 了 生 在 大 中 华 、 长 在 红 
旗下 的 中 国 青年 。 具 体 来 说 ， 由 于 受 中 国 传统 的 传宗接代 的 思想 有 影响， 我 国 存在 
较为 严 午 的 人 口 性 别 比 例 失调 现象 ， 这 整 出 现 了 “ 狠 多 肉 少 ” 的 局 面 。 再次， 中 国 的 
城市 化 进程 使 得 大 量 流 动人 口 涌 入 大 中 型 城市 。 到 2016 和 年， 我国 流动 人 口 近 3 亿 ， 
这 些 人 中 的 适 婚 群体 遭 志 到 婚恋 方面 的 各 种 现实 阻碍 ， 单 喘 和 群体 不 断 延 运 婚 恋 时 
间 ， 且 数量 不 断 增 大 。 最 后 ， 城 市 中 的 工作 和 生活 节奏 变 快 ， 人 们 不 得 不 大 大 压 
见 在 现实 世界 中 交友 的 时 间 。 


火爆 的 婚配 市 场 


单身 狗 可 以 上 讶 ， 但 他 们 苔 后 的 经 济 法 力 却 不 容 小 视 。 爱 情 这 个 适 婚 男 ” 女 的 需 
求 也 变 成 了 一 种 “买卖 "， 美 其 名 日 婚恋 市 场 ( 爱 情 不 是 你 想 买 ， 想 买 束 能 买 )。 还 
记得 以 前 大 街 小 瑟 电 线 杆 上 的 征婚 广告 蚂 ? 还 记得 大 大 小 小 的 婚介 场所 吗 ? 进入 
互联 网 尤其 是 移动 互联 网 时 代 后 ， 不 少 公 司 郡 喂 到 了 这 方面 的 商机 。 由 于 现在 的 
单 吴 独 大 多 集中 于 对 网 吧 驳 满 回忆 的 80 后 和 手机 拒 比 顺 官 的 90 后 ， 他 们 更 喜欢 把 
目 己 的 梦想 寄托 于 网 络 ， 这 殉 催 生 了 互联 网 烘 恋 交 友 市 场 的 电 起 。 中 国 互 联网 娩 
亦 艾 友 市 场 现 已 呈现 出 三 足 易 立 的 态 荔 ， 即 珍爱 网 、 昌 合 网 和 世纪 佳缘 三 家 公司 








占据 了 大 半 市 场 〈 见 图 4-8) 。 


消 肌 网 有 
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图 4-8 
中 国 式 相亲 大 跃进 








书包 竺 入 





中 国 的 城市 化 进程 使 得 生活 扩 奏 加 快 ， 寻 找 结婚 对 象 越 来 越 难 。 因 此 ， 越 来 
越 多 的 育 年 选择 了 相亲 的 形式 ， 希 望 可 以 更 快 更 好 地 找到 终 映 的 侍 侣 。 从 《 非 诚 


勿 扰 》《 爱 情 连 连 看 》 到 《中 国 式 相亲 》， 层 出 不 穷 的 电视 


世 目 致力 于 为 相 杀 助 


力 ， 促 进 了 婚配 市 场 的 着 劲 发 展 。 据 统计 ， 婚 恋 交 友 市 场 在 2016 年 已 经 有 近 白 亿 


元 收入 。 





个 人 婚恋 的 核心 需求 


前 文 从 宏观 上 对 单身 狗 的 处 霸 进 行 了 分 析 。 从 微观 上 ， 每 个 单 有 刁 狗 个 体 的 核 

心 需 求 是 如 何 才 能 获得 异性 的 廊 心 。 男 性 是 不 是 一 定 要 “高 军 帅 ”? 女性 是 不 是 必 

须 “ 晶 证 闫 ”? 男 外 ， 婚 恋 网 站 也 想 破 解 这 一 密 公 。 婚 恋 网 站 的 核心 业务 指标 就 是 ， 
如 何在 最 短 的 时 间 内 帮助 有 婚恋 需求 的 人 找到 目 己 心仪 的 对 象 ， 即 对 象 嘱 配 。 婚 

想 网 站 一 般 采 用 用 户 直 接 沟 通 的 方式 进行 配对 ， 而 对 于 婚恋 网 站 重要 收入 来 源 的 V 
I P 用 户 ， 还 有 相应 的 线 下 红 女 服务 ， 即 通过 线 下 的 实体 店 为 适 婚 男女 创造 恋爱 机 
会 。 如 果 能 够 破解 这 一 密码 ， 那 么 线 下 红 女 束 可 以 帮助 有 婚恋 需求 的 铬 户 提 升 对 

异性 的 吸引 力 ， 从 而 大 大 增加 其 配对 的 成 功率 。2014 年 8 月 ， 世 纪 佳 缘 网 站 的 速配 
nt 
题 的 新 坑 章 。 


数据 介绍 


由 于 无 法 获取 婚恋 网 站 的 个 人 基体 信息 ， 本 生 例 使 用 了 之 加 可 商学 院 的 相亲 
实验 数据 。 该 数据 是 之 加 哥 商 学 院 雪 : 菲 苑 受 教 授 和 布 娜 ' 延 加 教 授 2002 一 2004 年 组 
织 的 相 杀 实验 数据 。 实 验 的 开始 ， 组 织 痢 在 该 校 网 站 上 招 葵 相 杀 者 。 忘 愿 痢 需要 
在 网 站 上 注册 ， 经 审核 后 方 可 参加 相 杀 活动 。 注 册 时 需要 项 与 个 人 信息 ， 包 丘 性 
别 、 年 龄 、 族 裔 、 从 事 领 域 和 兴 


Y 变量 

相亲 过 程 中 ， 每 位 相亲 者 会 合 到 一 张 打 分 卡 ， 用 以 记录 他 们 的 选择 和 对 对 方 
特质 的 打分 。 如 果 相 亲 者 有 意愿 和 对 方 进一步 友 展 ， 例 如 约会 ， 束 选 “ 是 ”"， 耕 则 
选 “ 否 ”"。 相 亲 者 的 决定 即 为 因 变 量 。 而 后 ， 相 亲 者 根据 6 个 维度 为 对 方 的 特质 打 
分 ， 给 出 好 感 综 合 得 分 ， 并 估计 匹 配 成 功 的 概 识 。 如 采 双 方 都 选 “是 ”， 则 意味 看 区 
配 成 功 。 

X 委 量 


表 4-1 展 示 了 相亲 者 的 客观 条 件 信息 。 








表 4-1 数 据 变 量 说 明 表 













定性 变量 是 否 有 意 怕 


否 , 二 


(2 水 平 ) 进一步 发 展 
大 编号 为 118 
六 的 观测 缺失 
编 编号 为 118 
- 的 观测 缺失 
定性 变量 
和 (2 水平 ) 女 /为 加 
变 单位 ， 岁 18~55 只 取 整 数 
里 


定性 变量 ， | 亚 毅 / 非 毅 / 欧 裔 /拉丁 
(5 水平) 裔 /其 他 


定性 变量 医学 /历史 / 
(18 水 平 ) 哲学 /商业 等 
定性 变量 “| ”运动 /看 体育 赛事 / 
(15 水 平 | ”艺术 /美食 等 












18 一 55 


亚 毅 / 非 毅 / 欧 裔 / 






对 方 年 龄 


定性 变量 





条 (5 水 平 ) 拉丁 裔 /其 他 
| 是否 同一 | ”定性 变量 - 
族 毅 (2 水 于 
日 常 出 门 定性 变量 一 周 多 次 /一周 两 次 / | 

频率 ”| 《7 水 平 ， | 一 周一 次 /一 月 两 次 等 
日 遂 约 会 二 a | 一 周 多 次 /一 周 两 次 / 


频率 7 水 ， 一 周一 次 /一 月 两 次 等 


对 族 裔 的 证 
看 重 程度 DE | 只 取 整 数 


拍 述 性 分 析 


从 图 4-11 可 以 看 到 ， 参 加 此 次 调查 的 共 551 人， 其 中 女性 为 274 人 ， 男 性 为 277 
人 。 这 次 实验 中 的 志愿 者 主要 为 吹 窗 ， 其 次 是 亚 窗 与 拉 汪 家。 在 不同 的 族 闪 中 ， 
男女 比例 基本 持平 。 调 但 中 有 人 霖 填写 族 闪 选项 ， 故 图 4-11 石 图 的 统计 人 数 合计 小 
于 参加 实验 的 总 人 数 。 





图 4-11 参与 实验 的 人 口 特征 


在 正 却 见面 乙 前 ， 该 实验 首先 调 碍 了 所 有 参与 者 对 村 心仪 对 象 的 最 看 ” 重 因 
素 ， 每 位 参与 者 主要 从 6 个 维度 〈 吸 引力 、 爱 好 、 有 抱负 、 幽 和 寺 感 、 智 商 、 真 城 
度 ) 进行 了 主观 打分 ， 得 分 反映 了 他 们 对 于 各 项 因素 的 主观 重视 程度 。 雷 达 图 
( 抑 图 4-12) 画 出 了 男性 与 女性 在 这 6 个 主观 维度 上 的 平均 打分 。 有 意思 的 是 ， 男 


性 觉得 女性 对 于 自己 的 吸引 力 特 别 重要 ， 而 女性 更 加 注重 全 面 发 展 的 男性 ， 对 于 
所 约会 对 象 的 智商 也 有 所 要 求 。 


中 引力 





智力 ”有 抱负 





结束 
图 4-12 ”实验 前 男性 与 女性 认为 目 己 看 中 为 一 半 的 因 系 比 昔 对 比 


从 图 4-13 可 以 看 出 ， 个 人 特质 对 是 否 愿意 进一步 交往 有 较 大 影响 。 从 6 个 特质 
来 看 ， 除 有 抱负 外 ， 接 受 的 相亲 对 象 的 各 特质 得 分 都 要 高 于 拒绝 的 相亲 对 象 。 初 
步 可 以 判断 ， 相 亲 者 如 果 可 以 改善 这 5 个 特质 ， 将 会 为 相亲 成 功 增添 夸 码 。6 个 特 
质 中 影响 最 明显 的 间 过 二 吸引 力 和 共同 爱好 ， 果 丰 是 看 脸 的 时 代 ， 泥 爱好 就 是 
i 


决 条 例 


基于 上 述 数 据 ， 针 对 不 同性 列 与 不 同 的 主客 观 指 标 提出 四 种 标 型 来 揭示 “爱情 
密码 ”( 见 图 4-14，〉 。 图 4-15 展 示 了 使 用 主观 指标 的 决策 树 模型 结果 。 

主观 指标 模型 解锁 了 男女 相 六 决策 的 拉 能 。 吸 引力 对 女性 古 最 草 要 的 指标 ， 
如 果 小 于 6.8 则 拒绝 ， 否 则 继续 判断 。 如 果 共 同 爱 好 大 于 6.5， 生 接 同 意 ; 小 于 3.5， 
直接 拒绝 :如 在 两 者 中 间 ， 上 再 根据 吸引 力 判 新 ， 小 于 


7.2 拒 绝 ， 大 于 7.2 同 意 。 
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图 4-13 各 因 系 对 于 是 合 接受 相 杀 对 象 的 对 比 箱 线 立 





图 4-14 ”所 采用 的 4 种 模型 


男性 也 是 先 看 颜 值 的 ， 吸 引力 小 于 6.2 则 拒绝 ， 和 否则 继续 判断 。 如 幽默 大 于 
6.8， 则 末 断 间 意 ， 人 否则 再 判断 。 如 末 共 同 爱好 小 于 4.5， 拒 绝 ， 合 则 同意 。 


女性 的 决策 





:Ce 服 引 力 < 6.8-[26j} 





:ms ] -最 引力 <6.2 [90]: 
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图 4-15 ”主观 指标 模型 的 分 类 树 结果 


温 忆 提醒 : 进入 狗熊 会 公众 写 (CluBear) 输入 文字 :“ 相 杀 ”， 听 政委 首 频 ! 


要 引力 <72 





二 手 千 保值 比率 那些 事 儿 





篷 勃 发 展 的 二 手 车 市 场 


随 独 城市 化 进程 的 持续 推进 ， 对 很 多 家 寿 而 言 ， 汽 车 已 经 成 为 日 冲 生 活 的 必 
需 品 。 因 此 ， 近 年 来 不 仅 汽 车 产业 步 步 葡 升 ， 二 手 芋 市 场 也 壮 有 劲 有 发展。 从 网 4-16 可 
以 看 出 ， 二 手 车 市 场 持续 保持 平稳 增长 ， 且 发 展 势头 渐 强 ， 重 要 性 逐步 体现 。 与 
国外 现状 相 比 ， 我 国 二 手 车 市 场 还 有 较 大 的 发 展 空间 和 市 场 前 景 。 一 方面 ， 我 国 
消费 者 的 消费 观念 在 不 断 转变 ， 对 于 二 手 车 的 接受 上 度 越 来 越 高 ; 另 一 方面 ， 二 手 
车 经 人 营 模式 也 在 发 展 完善 ， 不 断 加 速 开 拓 线 上 交易 模式 〈 如 处 于 发 展 和 探索 初期 
的 二 手 车 电子 商务 ) 。 随 着 2016 年 3 月 $ 日 李克强 总 理 在 政府 工作 报告 中 提 到 要 “ 活 
跃 二 手 车 市 场 ”， 以 及 3 月 25 日 取消 二 手 车 “ 限 迁 ”政策 ， 二 手 车 市 场 必 将 迎 来 新 一 疲 
2 择 什 么 样 的 指标 来 衡量 二 手 车 的 保值 现状 ? 哪些 因素 影响 二 手 车 
末 值 现状 ? 


BP 二 竹 车 市 场 过 年 落 籼 发展， 进 外 条 定 戎 
戎 2016 和 车 政府 工作 报告: “活跃 世 村 车 审 场 ” 
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图 4-16 


资料 来 源 : 中 国 汽车 流通 协会 
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数据 来 源 及 说 明 
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斥 子 二 于 车 再 客 网 口 对 臣 秆 辆 坟 行 履 而 ， 并 特 香 供 计 局 服 务 划 师 竣 ， 


此 区 


二 站 各 企 上 二 手 达 于 5 和 到 二 避税 加 
温 有 十 阿 征 节 ， 无 吾 计 i 雹 于 让 





本 采 例 收集 了 来 日 未 二 手 和 车 线 上 交 匈 平台 截 全 2016 年 6 月 抵 的 64326 辆 在 售 二 
手 午 数据 ， 共 体 包 括 基 本 信息 (包括 使 用 状况 、 基 本 属性 、 动 力 情况 ) 、 ”内 外 部 
配置 和 故障 排 得 三 个 其 别 的 属性 变量 。 有 共 体 变量 信息 如 表 4-2 所 示 。 


表 4-2 数 据 变 量 说 明 表 
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2 L793, 130 单位 : 米 


排名 前 十 的 汽车 


厂商 ， 以 及 其 他 革 准 ; 其他 


基准 , 目 动 


定性 变量 
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共 3 个 水 平 
定性 变量 
共 4 个 水 平 
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了 格 短 呈 右 侦 分 布 


定性 变量 
共 2 个 水 平 
定性 变量 


MPV、SUV， 
两 条、 三 采 
国 三 及 以 下 、 国 
四 ， 国 五 其 以 上 
微型 轿车 、 普 通 
级 轿车 、 中 级 轿 
站 [ 百 ] 而 级 畏 攻 


1 代 吉 有 电动 天 窗 
0 代表 无 电动 天 窗 
] 代表 有 全 景 天 窗 ; 


基准 : 
国 三 及 以 下 


基准 ; 
微型 轿车 


单位 ， pS 


0 代表 无 全 景 天 窗 基准 ,0 
1 代表 有 丰 皮 座 本 \ 

0 代表 无 真皮 座 椅 | “下 :1 
1 代表 有 GPS 导航 ; 有 
0 代表 无 3 时 人 基准 : 0 


共 ? 个 水 平 
定性 变量 
共 2 个 水 平 
定性 变量 


人 | 


具 皮 座 村 


GPS 守 骸 


倒车 影像 | ”定性 恋 ] f 雪 有 图 7 一 
系统 蕉 ?个 水 平 “|0 代表 无 倒车 影像 系统 | 基准 :0 


共 2 个 水 平 jk 









| 备注 
1 代表 存在 重大 磁 撞 ;| jw ， 
共 2 个 水 平 “|0 代表 不 存在 重大 碰撞 | 
放 ”| 外 观 修复 1 代表 存在 外 观 修复 ; | 。 基准 0 
自 ” 隘 | 检查。 | 共 2 个 水 平 |0 代表 不 存在 外 观 修复 : 
中 坦 定性 变量 。 | 1 代表 存在 外 观 钠 隐 ;| 。 jw。 


共 2 个 水 平 “|0 代表 不 存在 外 观 缺陷 


定性 变量 《| 1 代表 存在 内 饰 缺陷 ; 基准 .0 

共 2 个 水 平 ”10 代表 不 存在 内 饰 缺 陷 | 
说 明 : 为 了 对 二 手 午 的 你 值 现状 进行 衡量 ， 定 义 Log- 你 值 比率 为 你 值 紊 〈 报 价 / 原 
价 ) 的 logit 变 换 ， 即 log [报价 /原价 一 报价 ) 」， 使 其 分 布 于 正 负 无 穷 之 间 。 访 
变换 为 曲调 变换 ， 并 不 改变 数据 中 不 同和 车 你 值 率 的 顺序 。 


摘 述 性 分 析 


和 完 看 因 变 量 的 分 布 。 经 过 变换 后 ，Log- 你 值 比 这 基本 呈现 对 称 分 布 ( 见 图 4- 
18) ， 最 小 值 为 一 辆 原价 8.7 帮 元 的 吉利 汽 和 车， 最 大 值 为 一 辆 原价 7.1 万 元 的 华 展 汽 
车 。 尺 管 两 辆 汽车 原价 相当 ， 但 使 用 时 间 各 和 卉 ， 可 以 看 到 吉利 汽车 上 夏 时 间 是 
2009 年 ， 而 华晨 汽车 却 是 2015 年 刚刚 上 牌 。 事 实 上 ， 经 过 分 析 ， 上 牌 时 间 确 实 与 
汽车 你 值 率 有 密 不 可 分 的 关系 。 
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Log 评 司 比 车 


图 4-18 ”对 数 你 值 比率 的 分 布 


汽车 生产 上 商 是 个 也 会 影 啊 汽车 你 值 率 呢 ? 下 面 统 计 不 同 汽车 生产 广 商 对 应 
的 汽车 你 值 率 〈 邦 网 4-19) 。 其 中 ， 搞 得 前 三 甲 的 是 长 安 得 特 、 上 汽 通用 五 朗 、 长 
城 汽 车 等 厂商 生产 的 汽车 。 除 此 之 外 ， 南 北大 众 紧 随 其 后 。 通 过 拍 述 性 分 析 可 以 
看 出 ， 不 同 广 商 的 汽车 保值 率 有 所 差异 。 关 于 汽车 品牌 保值 率 排 位 的 进一步 探索 
可 以 通过 在 回归 分 析 中 控制 其 他 因 系 后 得 出 。 





"i 
由 直 [ 
aM 
.7 让 ,9 
0.5 , 
0.400 0. 3d5 i 
0.300 | 7 0.777 
0.200 
门 二 人) | | 
| 
ULM | 
a ee -大 二 了 
站 A E 语 a 于 hs 
1 a 8 Bl 
ee 


Log- 怪 证 比率 








i 


Fe | 
| P| 1 | 站 ] 是 大 
本 3 ks ~ 


图 4-19 ”主观 指标 模型 的 分 类 树 结 来 


汽车 类 型 、 变 速 属 性 也 与 你 值 率 有 上 所 关联 。 通 过 描述 性 分 析 可 以 肥 现 〈 见 图 4- 
20) ， 变 速 属性 中 日 动 扫 汽 车 你 值 性 能 较 好 ， 相 对 来 说 大 型 SUV 以 及 MPV 你 值 率 
较 局 。 从 排放 标准 来 看 ， 喝 加 环保 的 汽车 《〈《 国 五 及 以 上 ) 你 值 率 较 局 ， 实 际 上 ， 
它们 的 使 用 时 间 往 往 也 更 短 。 万 外 ， 微 型 轿车 相对 于 其 他 和 轿车 而 言 傈 值 率 较 低 。 


针对 二 手 和 车， 其 定价 中 另外 一 个 需要 考量 的 因素 是 有 无 损坏 。 因 此 ， 二 手 车 
平台 往往 会 出 具 一 份 事故 排查 报告 ， 详 细 展 示 该 二 手 车 是 否 出 现 过 外 观 缺 陷 、 修 
Ag 
深 梭 低 。 


建 模 分 析 
下 面 针对 二 手 车 保值 率 ， 试 图 通过 机 器 学 习 中 的 决策 树 模型 来 解读 高 保值 率 


汽车 与 哪些 因素 相交。 为 此 ， 对 汽车 投 照 你 值 率 进 行 简单 的 切 分 ，“ 将 排 位 在 30% 
分 位 数 之 醒 的 保值 紊 定义 为 融 你 值 率 〈 取 值 为 1 ) ， 合 则 为 0。 
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图 4-21 


使 用 决策 树 建 模 后 可 以 得 到 如 图 4-22 的 结果 。 这 里 ， 决 朱 树 选择 了 上 碑 时 间 、 
里 程 作 为 最 先 分 多 的 两 个 变量 。 这 说 明 ， 上 牌 时 间 、 里 程 与 保值 率 有 密 不 可 分 的 
关系 。 由 此 可 见 ， 汽 车 的 保值 率 主 要 与 其 使 用 状况 有 关 ， 上 牌 时间 越 早 、 里 程 越 
多 ， 表 明 汽 车 使 用 越 多 ， 因 此 折 损 也 越 多 。 
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图 4-22 


在 考 怕 了 上 述 两 项 因 尼 之 后 ， 汽 车 目 映 属性 ， 比 如 动力 情况 、 品 牌 等 对 汽车 
保值 率 也 有 影响 。 例 如 ， 当 上 牌 时 间 超 过 2 年 但 不 足 4 年 、 里 程 小 于 3 万 公里 时 ， 可 
以 看 到 马力 超过 104ps 的 一 汽 大 众 汽车 具有 较 遍 的 你 值 率 。 


接 下 来 评估 决策 树 的 建 模 效果 〈 见 图 4-23) 。 注 意 到 模型 的 因 变 量 是 0-1〈 即 
否 为 高 保值 率 ) ， 可 以 通过 决策 树 模 型 得 到 每 个 样本 点 的 预测 ， 因此 ， 能 够 使 
edd bey ROC 曲 线 。 同 样 ， 可 以 计算 出 AU C 值 为 
Wo 这 个 AU ”C 值 非常 高 的 原因 是 上 和 肚 时 间 、 里 程 对 因 变 量具 有 非常 高 的 解释 
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图 4-23 


进入 狗熊 会 公众 号 〈CluBear) 输入 文学 :“ 二 手 车 ”"， 听 布 首 


器 归 酝 与 所 升 算法 一 一 世界 这 么 大 ， 想 去 哪儿 看 看 ? 


火热 的 在 线 旅 游 市 场 


一 次 说 走 束 走 的 旅行 似乎 已 经 成 为 这 个 时 代 年 轻 人 彰显 个 性 的 行为 。 事 实 
上 ， 说 走 束 走 比 较 困 难 ， 旅 行 却 成 为 越 来 越 多 人 心中 的 首选 。 中 国产 业 信 息 网 的 
数据 显示 〈( 见 图 4-24)〉 ，2015 年 ， 我 国旅 游 总 人 次 达到 42 亿 人 人 次， 旅游 业 收 入 达 
4.13 万 亿 元 ， 市 场 规 檬 仍 在 稳步 扩大 。 其 中 ， 在 线 旅 游 市 场 增长 势头 格外 迅猛 ， 市 
场 交易 规模 增长 率 保持 在 每 年 25% 以 上 ， 从 2009 年 的 619 亿 元 增长 至 2015 年 的 4000 
多 亿 元 。 由 此 可 见 ， 人 们 对 旅游 的 热情 确实 越 来 越 高 涨 。 












2017 20127 2013 2014 2015 
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图 4-24 ”2015 年 我 国旅 游 市 场 规 模 
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在 线 旅 游 市 场 的 莹 勃发 展 让 各 大 旅行 社 和 争先恐后 “ 触 网 ?， 登 陆 各 大 电 商 平台 ， 
同时 也 众生 出 大 量 的 网 络 旅行 社 。 在 旅行 社 雨 后 春 敌 般 涌 现 的 当下 ， 网 上 末 阳 满 
目的 旅游 产品 了 五花八门 不 同 的 目的 地 ， 不 同 的 行程 安排 ， 不 同 的 服务 特 
点 .……….. 看 实 容 易 让 人 挑 伦 了 眼 。 那 么 究竟 什么 样 的 旅游 产品 最 受 人 欢迎 ? 它们 又 
是 凭借 什么 特点 俘获 了 广大 驴友 的 芳心 ， 成 为 旅游 产品 中 的 爆 款 呢 ? 为 此 ， 本 案 
例 收 集 了 某 线 上 旅行 产品 网 站 2016 年 11 月 的 4366 条 产品 数据 ， 涵 盖 各 种 各 样 的 旅 
人 
应 俱全 。 
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图 4-25 


数据 说 明 


为 了 表示 旅游 产品 的 热 销 程度 ， 用 “3 个 月 成 交 量 "作为 因 变 量 ， 并 收集 产品 的 
价格 信息 、 目 的 地 信息 、 行 程 特色 、 用 户 反 饿 、 优 惠 活 动 、 服 务 你 隐 等 作为 目 变 


量 信 息 ， 上 具体 如 表 4-3 上 所 示 。 
表 4-3 数 据 变 量 说 明 表 
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描述 性 分 析 : 哪些 因素 与 旅游 产品 销量 有 关 ? 
说 到 旅游 ， 必 谈 两 个 要 系 : 目的 地 、 价 格 。 由 图 4-26 和 图 4-27 可 知 ， 旅 游 项 目 


的 价格 主要 集中 在 5000 元 以 下 ， 这 是 因为 数据 中 国内 游 占 绝对 比例 ( 约 为 61%) 。 
成 交 量 方 面 ， 绝 大 多 数 旅 游 项目 成 交 量 都 在 30 次 以 下 ， 分 布 呈现 偏 态 ， 焊 球 并 不 
第 见 ， 可 见 想 要 打造 一 个 人 见 人 爱 的 旅游 产品 确实 不 容易 。 不 仪 如 此 ， 不 同 目 的 
地 的 成 交 量 、 价 格 也 存在 显著 差异 近 者 如 北京 周边 游 ， 均 价 不 足 千 元， 其 
低 价 位 产品 的 销量 几乎 是 美洲 游 各 类 产品 销量 的 两 倍 之 多 ， 而 后 者 均 价 高 达 3 万 
元 。 加 入 会 员 徽 信 whair004 
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图 4-27 


人 不同 的 旅游 产品 还 有 看 个 同 的 跟 团 方式 ， 不 同 的 行程 长 度 ， 不 同 的 交通 、 住 
答 等 ， 虱 可 以 逐一 进行 分 析 。 从 图 4-28 可 以 看 出 ， 驴 友 们 更 倾心 于 短期 行程 ， 它 们 
的 时 间 更 方便 灵活 ， 价 格 也 往往 低 于 长 期 行程 ， 更 容易 促成 购买 决策 。 
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图 4-28 
说 明 : 行程 在 3 天 以 内 为 短期 ，4 一 6 天 为 中 期 ，7 天 及 以 上 为 长 期 ; 3 天 和 7 天 恰 为 
所 有 项 目 行程 长 度 的 1 / 3 与 2 / 3 分 位 数 。 


除了 旅游 行程 安排 本 身 之 外 ， 作 为 网 上 交易 大 战 的 重要 角色 ， 商 家 五 花 八 门 
的 优惠 活动 和 服务 保障 自然 也 会 对 产品 的 成 交 量 产生 一 定 影响 ， 带 有 优惠 活动 的 
旅行 产品 成 交 量 也 相对 更 高 。 值 得 注意 的 是 ， 虽 然 有 着 和 干 奇 百 怪 的 优惠 方案 ， 但 
效果 最 显著 的 还 是 最 为 传统 的 “会 员 价 ”优惠 。 在 网 上 交易 还 是 希望 买 个 放心 ， 带 有 
服务 保障 的 产品 往往 都 有 更 高 的 成 交 量 ， 其 中 带 有 如 实 描述 保障 的 产品 最 受 驴 友 
的 青睐 。 此 外 ， 分 析 还 发 现 信 丛 更 好 的 商家 一 般 成 交 量 较 高 ， 这 也 局 示 商 家 注重 
自身 品牌 管理 〈 见 图 4-29) 。 
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图 4-29 
建 模 分 析 : 回归 树 
接 下 来 ， 以 3 个 月 成 交 量 为 因 变 量 进 行 建 模 分 析 。 首 先 回 忆 一 下 前 面 提 到 的 “ 决 
条 树 非 碱 勿 扰 ”" 和 “ 决 条 树 二 手 车 保值 比率 那些 事 儿 ”， 其 本 质 是 解决 


本 一 个 0-1 因 变量 的 回归 问题 ， 使 用 的 柑 型 是 决 俩 树 。 现 在 的 问题 与 之 前 上 略 有 不 
问 ， 因 变量 是 连续 型 的 。 有 没有 关 似 的 机 噩 学习 蛋 型 是 解决 这 种 问题 的 呢 ? 本 条 
例 将 介绍 一 种 用 于 回归 的 树 模型 回归 树 。 回 归 树 的 算法 模型 与 决策 树 非 第 
类 似 ， 最 大 的 不 同 是 : 该 模型 主要 用 于 连续 型 因 变 量 的 数据 。 对 以 上 数据 进行 建 
模 ， 可 以 得 到 回归 树 建 模 输 出 结 末 〈 见 图 4-30)。 


加 归 树 路 径 解 该 


由 图 4-30 可 以 看 出 ， 回 归 树 的 生成 过 程 束 像 古 人 类 分 析 决 朱 的 过 程 。 ”从 第 一 
个 变量 会 员 优 囊 ) 出 友 ， 根 据 不 同 变 量 的 不 同 取 值 ， 能 够 得 到 因 变 量 的 人 不同 也 
出 结 未 。 要 解读 回归 树 的 结 来 ， 束 要 分 列 对 回归 树 的 分 文 路 任 进 行 解读 。 上 其 体 来 
说 ， 束 是 要 试图 回答 以 下 问题 ， 假 如 一 个 旅游 产品 在 狗熊 会 上 线 ， 请 问 其 销量 大 
概 为 多 少 ? 下 面 将 回归 树 最 石 边 的 一 条 路 公 折 解 成 问 谷 过 程 玫 助理 解 。 








问题 : 请 问 您 的 旅游 产品 文 持 会 员 优 惠 吗 ? 

回答 : 支持 。 

问题 : 那么 ， 您 的 产品 定价 是 人 否 超过 1148 元 ? 

回答 : 没有 ， 定 价 为 1000 元 。 

和 输出: 根据 回归 树 建 模 ， 您 的 销量 预计 为 488 ! 

人 向 单 来 看 ， 从 会 员 优 惠 出 发 〈 也 叫 根 节 点 ) ， 通 过 不 同 路 径 都 能 得 到 一 个 因 








变量 的 拟 合 值 〈 也 叫 叶 和 点 ) 。 观 察 时 节点， 总 结 各 个 分 文 ， 能 够 发 现 大 概 有 3 种 
关 型 的 产品 党 到 消费 者 奶 捧 : (1) 有 会 员 优 惠 同 时 价格 适中 ;， 《2) 5 分 好 评 店铺 
出 售 ， 价 格 实惠 ， 且 非 国 内 游 产 品 ; (3) 超 低 价 但 行程 长 度 适中 〈4 一 6 天 ) 的 优 
囊 产 品 。 


如 何 生 成 回归 树 ? 


前 文 已 经 解 谈 了 回归 树 的 含义 ， 那 么 问题 羡 : 这 个 树 为 什么 非 要 长 成 了 这样? 
能 有 列 的 样子 吗 ? 这 些 问题 与 回归 树 的 生成 原理 有 天。 


从 根 节点 对 应 的 变量 “会 员 优 惠 ”说 起 。 这 里 的 根 节点 是 第 一 个 分 裂 的 节点 ， 之 
后 其 他 节点 的 分 裂 原理 类 似 。 先 对 应 因 变 量 Y， 回 归 树 会 逐一 测试 数据 集中 每 一 个 
自 变量 ， 寻 找 一 个 对 拟 合 Y“ 最 有 用 ”的 自 变量 X。 这 里 的 “最 有 用 "可 以 理解 为 通过 
该 变量 的 切 分 ， 使 得 对 Y 拟 合 性 最 好 〈 比 如 ， 残 差 平 方 和 最 小 ) 。 在 这 个 过 程 中 发 
现 的 第 一 个 最 有 用 的 变量 是 “会 员 优惠 "， 那 么 数据 集 就 会 按照 有 无 会 员 优惠 拆 分 成 











两 部 分 。 对 于 每 一 部 分 ， 再 重复 上 一 过 程 : 基于 这 部 分 样本 找到 对 拟 合 Y 最 有 用 的 
目 变 量 X 以 及 分 点 ， 这 时 找到 的 变量 是 “价格 ”。 继 续 进 行 这 个 过 程 ， 回 归 树 融 建 好 
本。 





如 末 无 限期 地 重复 这 一 过 程 ， 回 归 树 可 以 非常 六， 同时 对 数据 集中 每 一 个 币 
氮 郡 “完美 ? 拟 合 。 但 是 ， 这 样 的 回归 树 过 于 复杂 ， 其 至 拟 合 了 数据 集中 的 噪音 ， 如 
朱 换 一 个 数据 集 ， 预 训 效 来 可 能 会 非常 糟 糙 。 因 此 ， 第 第 对 回归 和 栅 的 复杂 度 进行 
限制 ， 比 如 树 不 能 太 深 ， 叶 子 不 能 太 多 .…… 如 果 感 兴趣 ， 可 以 从 机 器 学 习 专 业 书 
籍 中 找到 更 多 答案 ， 这 里 不 再 资 述 。 


回归 树 的 组 合 随机 森林 与 XGBoost 


在 二 面 “ 决 全 树 : 非 碱 勿 扰 ” 中 已 经 知道 ， 随 机 和 森林 可 以 用 来 组 合 多 标 决 全 树 。 
对 于 回归 树 ， 也 可 以 用 关 似 的 思路 。 一 株 树 的 拟 合 与 预测 效 末 经 昭 会 随 看 样本 变 
动 出 现 较 大 偶 震 ， 通 过 多 株 树 的 组 合 ， 往 往 能 够 得 到 对 因 变 量 更 好 的 拟 合 与 预测 
效果 。 图 4-3 1 展示 了 随机 和 森林 的 生成 过 程 。 简 单 来 说 ， 通 过 对 数据 集 进 行 样 本 抽 
样 “对 行 抽样 ) 以 及 变量 抽样 《对 列 抽样 ) 可 以 构建 一 系列 的 回归 树 ， 每 株 回 归 
树 都 会 输出 对 因 变 量 7 的 拟 合 结 东 。 将 所 有 这 些 拟 合 结束 求 平 均 ， 则 可 以 得 到 随机 
穆 林 最 后 的 输出 结 来 。 这 里 ， 随 机 和 森林 建 模 过 程 中 使 用 多 少 株 树 以 及 每 株 树 的 深 
度 多 少 ， 都 可 以 进行 合理 调整 。 
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另外 一 种 常见 的 组 合 方法 是 提升 (Boosting) 方法 。 这 种 方法 与 随机 森林 的 组 
合 方法 不 同 的 是 ，Boosting 方 法 中 的 树 是 序列 生成 的 。 简 单 来 说 ， 它 生成 每 一 株 树 
的 时 候 以 之 醒 所 有 的 树 为 基础 ， 瑚 看 最 小 化 目标 函数 的 方 回 努 力 。Boosting 树 的 算 
法 很 多 ， 这 里 主要 使 用 XGBoost 算 法 ， 其 他 算法 的 基本 思 力 大 致 相同 。 


为 了 测试 算法 的 拟 合 与 预测 效果 ， 第 第 及 用 交叉 验证 的 方式 。 这 个 方式 简单 
有 效 ， 具 体 来 说 ， 可 以 将 数据 集 随机 拆 分 成 5 折 ， 取 其 中 1 折 (1 /5)〉 作为 测试 
集 ， 剩 余 4 /5 作为 训练 集 ， 分 别 计算 训练 集 以 及 测试 集 的 平方 根 误 和 看 (root mean 
square ”error，RMSE) 。 随 机 重复 该 过 程 S0 次 ， 能 够 计算 4 个 模型 在 训练 集 和 测试 
集 上 的 平均 RM SE ( 见 表 4-4) 。 








表 4-4 


线性 回归 回归 树 随机 森林 XGBoost 
训练 集 26. 82 19. 14 15. 28 12. 34 
测试 集 26. 44 25. 89 23, 36 24, 75 


在 介绍 表 4-4 之 前 ， 先 们 单 讲 讲 交 又 验证 的 原理 和 效果 。 这 里 ， 在 训练 集 上 主 
要 训练 模型 ， 但 同时 ,希望 训练 得 到 的 模型 具有 比较 好 的 扩展 预测 的 性 能 。 有 
时 ， 午 型 充分 拟 合 了 训练 集 的 特征 ， 其 至 拟 合 了 训练 集 上 的 ” 误 兰 ， 那 么 将 看 到 ， 
该 模型 在 训练 集 上 表现 “ 完 关 ”*， 但 在 测试 集 上 束 会 出 现 预 测 结 来 “ 滑 铁 户 ”的 现象 
(一 般 称 为 “过 拟 合 ”) 。 看 表 4-4 的 结 琳 ， 相 比 线性 回归 模型 ， 在 训练 集 上 回归 
树 、 随 机 森林、XGBoost 才 能 够 取得 非常 好 的 拟 合 效 末 。 但 是 ， 从 测试 结束 来 
看 ，4 个 模型 几乎 被 拉 回 同一 起 跑 线 ..….... 线 性 回归 的 测试 集 与 训练 集 展现 了 较 高 的 
一 任性 ， 这 表明 线性 模型 具有 很 好 的 稳健 性 质 〈 实 际 上 ， 这 也 是 线性 模型 的 优势 
所 在 ) 。 其 他 三 个 模型 表现 和 有 好， 但 是 并 没有 拉 开 丰 够 大 胸 到 距 。 感 兴趣 的 读者 
可 以 在 其 他 案例 数据 集 上 测试 结束 。 需 要 着 醒 大 家 的 是 ， 在 业务 实施 过 程 中 ， 往 
往 会 结合 目 身 的 业务 问题 、 计 算 成 本 、 复 杂 程 度 等 因素 综合 考量 、 选 择 模 型 。 


温 避 提醒 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 旅 游 "”， 上 听 布 丁 音频 ! 


深度 学 习 一 一 多 像 目 动 识别 


图 像 效 据 


耻 看 图 像 采 集 设 备 的 飞速 友 展 ， 获 得 图 像 类 型 数据 的 成 本 越 来 越 低 。 我 们 日 
己 的 手机 残 完 全 蔡 代 了 以 前 的 数码 相机， 并 可 以 采集 图 像 数 据 。 在 本 书 第 一 草 中 
束 已 经 讨论 过 ， 图 像 是 一 种 数据 。 图 像 是 如 何 数 子 化 表示 的 呢 ? 例 如 图 4-32 中 ， 巨 
边 展示 的 古 手 写 阿 拉 但 数 凶 3 的 照 厂 ， 它 的 像 系 是 28x28， 古 边 束 是 其 数字 化 表 
示 ， 对 应 看 一 个 28x28 的 答 阵 : 如 下 原 始 图 片 中 的 像 系 是 纯 汗 色 ， 那 么 在 右边 的 和 兴 
阵 中 取 值 为 0( 示 打印 出 来 》， 酝 则 残 在 沧 阵 的 对 应 位 置 赴 上 1。 一 张 彩色 的 图 厂 
通 弟 由 RGB 三 原色 混合 而 成 ， 故 也 只 需要 3 张 对 应 大 小 的 夫 阵 即 可 数 季 化 表示 。 人 村 
算 机 束 是 这 样 “看 到 ”一 张 图 片 的 。 


图 像 数 据 和 传统 数据 有 些 不 同 。 传 统 数 据 里 ， 总 可 以 用 一 个 癌 量 来 表 示 一 条 
观测 ， 而 在 图 像 中 不 得 不 使 用 一 个 矩阵 。 传 统 数据 中 ， 每 一 个 维度 部 有 其 具体 明 
人 确 的 含义 ， 例 如 一 辆 汽车 的 自重 、 油 耗 、 最 高 时 速 等 ， 或 者 人 类 基因 组 表达 数据 
中 的 每 个 基因 ; 而 在 图 像 数 据 中 ， 每 个 像 系 上 日 己 似乎 不 具有 什么 特殊 的 信义 ， 往 
往 需 要 一 大 厂 像 素 点 放 在 一 起 才 有 含义 ， 并 且 把 图 片 中 的 某 一 部 分 平移 一 些 、 旗 
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图 4-32 
图 像 识 别 


深度 学 习 是 声名 远扬 的 “ 尘 盒 子 ”， 如 来 不 想 了 解 它 的 原理 ， 那 么 可 以 简单 地 认 
为 它 应 用 于 图 像 识 列 时 残 古 吃 进 去 一 个 图 片 ， 吐 出 该 图 片 属于 条 一 类 物品 的 概 
率 。 不 过 ， 了 解 一 些 原 理 之 后 ， 束 会 觉得 这 个 “墨盒 于 "也 没有 那么 < 半 ”。 下 面 将 介 
绍 如 何 利 用 深度 竺 习 中 的 苍 积 神经 网 络 教 会 电脑 做 图 厂 分 类 。 想 要 知道 如 何 教 会 
电脑 做 图 记分 类 ， 可 以 先 想 想 如 何 教 会 小 朋友 做 图 厂 分类。 例如， 小 朋友 通过 看 
水 末 卡 厂 来 区 分 水 未 。 


自 完 ， 小 朋友 会 看 到 水 琳 卡 片 ， 这 是 人 了 眼 完 成 的 工作 。 人 了 眼 上 共有 很 多 神奇 有 的 


机 制 ， 机 器 至 今 还 无 法 匹 政 ， 但 机 右 目 己 也 有 “看 见 ” 图 厂 的 方法 。 机 器 把 图 片 也 妆 
作 数 据 。 对 于 小 朋友 来 说 ， 看 到 了 水 来 图 片 ， 会 记 住 水 来 的 一 些 特征 ， 例 如 ， 框 
子 是 橘 黄色 的 ; 西瓜 是 外 面 绿色 ， 里 面 红 色 ; 草 每 的 表面 不 光滑 等 。 也 就 是 说 ， 
每 个 水 果 痢 具有 目 己 的 特征 ， 只 要 记 住 了 特征 ， 束 能 容 多 地 分 辨 出 水 琳 。 同 样 ， 
机 大 也 需要 一 坚 特征 来 区 分 图 片 。 例 如 ， 判 断 一 张 图 请 是 人 的 首 像 ， 一 定 有 一 些 
小 区 域 中 包含 人 的 眼睛 ， 这 些 区 域 的 颜色 会 深 一 些 ， 而 包含 皮肤 的 区 域 闫 色 会 涛 
一 些 。 这 样 处 理 之 后 ， 所 有 骨 像 部 有 一 些 共 同 特征 (包含 眼睛 和 皮肤 〉， 而 风景 
图 片 则 不 会 有 这 些 特征 ， 这 束 能 让 机 各 成 功 地 区 分 肖像 和 风景 。 因 此 ， 机 如 在 做 
A RE PP OT 
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图 4-33 


这 么 做 的 原因 在 于 ， 不 同 物体 的 形状 和 颜色 都 会 有 所 不 同 ， 所 以 在 每 个 小 块 
中 ， 色 彩 的 分 布 也 应 该 是 不 同 的 。 那 为 什么 个 用 原始 的 像 么 和 且 接 作为 输入 呢 ? 因 
为 原始 的 像素 差异 太 大 ， 同 梓 是 首 像 ， 相 同位 症 的 像 系 也 可 能 兰 开 很 大 ， 分 关 的 
难度 也 融 大 大 捉 升 。 将 独 上 请 分 割 成 小 鞭 ， 看 每 个 小 块 中 颜色 的 分 布 情况 ， 这 征 人 
关 教 给 机 各 的 特征 。 这 种 方法 可 以 教会 机 帮 做 图 片 分 类 ， 但 是 机 帮 的 表现 并 不 
ee 单 犯 错误 。 因 此 需要 检讨 这 种 特征 选择 
方法 。 
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不 脸 图 片 小 脸 图 片 袜 分 捉 ” 由 每 个 人 腔 块 构成 ”特征 直方 图 
成 很 针 块 的 LEP 直方 图 
图 4-34 


资料 来 源 : http: / /www . advancedsourcecode . com / images/ 
lbp facerecognition . jpg. 








图 4-35 
那么 ， 小 朋友 是 怎么 得 知 水 末 特 征 的 昵 ? 有 人 说 ， 水 末 的 特征 都 是 苞 郊 妈妈 





教 给 小 朋友 的 。 事 实 可 能 并 非 如 此 。 实 际 生 活 中 ， 当 小 朋友 还 不 能 理解 颜色 和 形 
状 的 概念 的 时 候 ， 却 已 经 可 以 分 辨 出 不 同 的 水 果 。 这 说 明 ， 小 朋友 可 能 不 需要 别 
人 来 教 他 怎样 分 辩 水 果 ， 自 己 束 能 总 结 出 区 分 水 果 的 经 验 。 每 个 小 朋友 区 分 水 果 
的 方法 都 不 一 样 。 例 如 ， 要 区 分 桥 子 和 楠 子 ， ”可 能 很 难 通 过 一 些 语言 规则 说 出 其 
区 别 ， 但 现实 生活 中 大 部 分 人 都 能 成 功 区 分 这 两 者 。 


深度 学 习 领 域 的 卷 积 神经 网 络 (CNN) 束 是 不 告诉 机 器 用 什么 特征 来 分 辨 图 
上 请， 而 是 给 机 器 看 很 多 训练 数据 ， 让 机 器 目 己 想 办 法 总 结 出 一 些 特征 。 


下 面 将 详细 介绍 机 硕 如 何 目 己 总 结 出 一 些 特征 。 这 部 分 内 容 技术 细节 比较 
多 ， 对 这 方面 不 感 兴 趣 的 谈 者 可 以 跳 过 ， 只 需要 理解 ， 深 度 学 习 方法 可 以 让 机 天 
根据 数据 目 动 售 计 出 一 些 特征 ， 这 些 特 征 可 以 是 均值 、 方 雷 、 直 方 图 ， 其 全 是 任 
意 的 一 种 线性 组 合 。 


深度 学 习 之 符 积 神经 网 络 


回想 一 下 前 文 手 到 的 基于 小 坎 图 片 中 二 方 图 的 人 脸 识 别 方法 。 为 什么 要 作 下 
方 图 ? 因为 要 总 结 一 小 块 图 厂 的 像 系 信息 ， 像 系 层 面 的 表现 不 稳定 ， 但 一 块 区 域 
的 耳 方 图 (或 者 其 他 统计 量 〉 是 稳定 的 ， 这 是 一 种 忌 结 概括 。 为 什么 要 分 小 块 ? 
因为 对 鳌 个 图 请 的 总 络 概 括 《〈 有 直方 图 ) 太 强 了 ， 可 能 会 导致 人 脸 和 菏 种 风景 团 的 
直方 多 是 一 样 的 。 那 么 问题 来 了 ， 怒 不 能 过 度 总 结 概 括 ， 也 不 能 不 总 结 概 括 ， 把 
握 到 什么 程度 最 好 呢 ? 再 者 说 ， 可 以 用 百 方 图 来 总 结 概括 ， 为 什么 不 用 方 关 来 总 
结 概 括 ? 为 什么 不 用 狗熊 ?统计 量 来 总 结 概 括 ? 为 什么 个 用 生 方 图 十 方 于 十 狗熊 ? 统 
计量 一 起 总 结 概 拓 呢 ? 


直方 图 是 一 种 特定 的 统计 量 ， 方 差 也 是 ， 这 种 统计 量 是 自己 确定 的 。 为 什么 
直方 图 能 帮助 做 图 像 分 类 ， 而 方 下 不 能 呢 ? 因 为 这 是 经 过 大 量 实践 后 的 结论 。 那 
数据 能 不 能 直接 告诉 机 器 应 该 用 什么 统计 量 好 呢 ? 下 面 给 出 卷 积 的 概念 。 

卷 积 

简单 地 说 ， 知 积 与 分 块 看 直方 图 天 不 多 ， 卷 积 束 是 看 每 一 块 的 加 权 和 ， 这 个 
加 权 和 的 权重 是 一 组 参数 ， 是 根据 数据 学 习 得 出 的 。 例 如 ， 图 4-36 展 示 了 怎样 做 卷 
只 〈 加 权 和 ) 。 这 里 考察 的 小 块 是 3x3 大 小 ， 中 间 3x3 和 矩阵 这 种 加 权 方 法 最 好 ， 这 
个 3x3 的 窍 阵 就 叫做 卷 积 核 ， 原 始 岁 片 的 3x3 的 小 块 与 卷 积 核对 应 位 置 相 乘 ， 最 后 
再 相 加 就 得 到 了 一 个 实数 ， 用 这 个 实数 总 结 原始 图 片 3x3 的 小 块 的 信息 。 例 如 图 4- 
36 中 ， 对 于 原始 数据 左上 角 的 3x3 小 块 ， 对 它 的 概括 总 结束 是 一 8。 移动 这 个 3x3 的 
ee EE 0 
E 阵 。 








卷 积 计算 方式 





新 的 像素 值 一 


图 4-36” 卷 积 方法 
资料 来 源 : https: / /handong1$87 . github . io / assets / cnn - materials / 
conv . ]pg. 


有 的 读者 可 能 会 息 ， 这 么 一 种 育 厚 的 总 结 概括 的 方法 可 徘 吗 ? 它 为 什么 会 比 
耳 方 图 还 好 呢 ? 单独 一 种 总 络 概 括 可 能 硝 实 没有 百 方 图 总 结 得 好 ， 不 过 ， 同 样 的 
事情 做 100 次 ， 用 100 种 不 同 的 生 积 核 ， 可 以 得 到 100 个 角度 的 总 结 概括 ， 实 验 结 
表明 ， 这 种 耸 积 的 方法 比 绝 大 多 数 人 为 设计 的 方法 都 要 好 。 例 如 ， 经 过 图 4-37 中 间 
的 卷 积 核 计 算出 来 的 总 结 概 括 的 图 片 〈 右 图 ) 实际 上 整 是 原 图 〈 左 图 ) 的 轮廓 。 





一 种 特定 的 巷 积 核 可 以 计算 出 图 厂 的 轮 廊 ， 力 一 种 否 积 核能 够 计算 出 图 像 的 
明暗 程度 ， 有 了 足够 多 的 疮 积 核 ， 如 能 形成 对 原始 图 上 请 的 各 种 各 样 的 概括 。 图 4-38 
展示 了 某 个 CNN 的 96 种 卷 积 核 的 可 视 化 。 从 中 可 以 发 现 ， 前 面 的 卷 积 核 的 形状 都 
征 一 些 线条 ， 实 际 上 ， 这 上 尝 爸 积 核 和 都 在 捕 换 忌 始 图 瞩 中 不 同 走 同 的 线条 。 后 面 的 
苍 积 核 是 彩色 的 ， 这 些 苍 积 核 在 捕捉 图 像 中 的 闫 色 信 息 。 沉 要 注意 的 是 ， 这 些 苍 
积 核 部 是 通过 数据 学 习 得 到 的 ， 不 古人 为 设 定 的 。 
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图 4-38 


和 耳 方 图 方法 中 ， 做 一 次 忌 结 束 且 接 变 成 辐 量 做 分 类 了 。 在 深度 竺 习 中 ， 还 要 
做 得 更 “深入 ”。 从 图 4-38 可 以 友 现 ， 对 于 一 种 奉 积 核 ， 束 能 生 ”成 一 幅 总 续 概 括 后 
的 “图 像 ”?， 如 末 一 个 像 系 一 个 像 系 地 移动 耕 积 核 ， 不 郊外 边 缘 因 系 ， 这 幅 区 积 核 处 
理 过 的 图 像 和 原来 图 像 一 样 大 。100 种 苍 积 核 束 有 了 100 幅 处 理 过 的 图 像 ， 这 100 副 
苍 积 核 处 理 过 的 图 像 ， 叫 作 深 度 竺 习 中 的 一 层 。 对 于 每 一 张 新 图 ， 还 可 以 继续 用 
10 种 狐 的 耸 积 核 来 处 理 ， 葡 有 了 第 二 层 ， 这 一 层 一 共有 100x10 三 1000 种 总 结 概 丘 
的 图 片 。 还 可 以 有 第 三 层 、 第 四 层 .…… 


一 般 来 说 ， 知 积 核 不 上 只 是 简单 的 加 权 ， 它 还 会 做 一 个 非 线性 变换 ， 人 否则 多 层 
没有 意义 ， 因 为 线性 变换 的 线性 变换 还 可 以 简化 成 一 个 线性 变换 。 和 关 见 的 非 线性 
变换 例如 Relu， 即 和 0 比 大 小 ， 取 最 大 信 ， 这 个 非 线 性 变换 叫 激活 函数 。 往 深 走 的 
过 程 束 像 一 株 树 一 样 越 长 越 大 ， 如 末 不 加 控制 的 话 ， 得 到 的 新 图 像 丈 会 越 来 越 
多 ， 呈 现 指 数 型 煤 炸 。 狐 图 越 多 ， 对 计算 资源 的 消耗 束 越 大 ， 并 且 敬 积 核 无 证 制 
地 生成 了 太 多 的 痢 图 (也 束 古 特征 〉， 很 容易 导 任 过 拟 合 。 因 此 ， 应 当 想 办 法 制 
止 这 种 情况 发 生 ， 于 是 就 有 了 Pooling 层 。 


Pooling 层 就 是 用 来 减少 卷 积 核 生 成 的 统计 量 〈 特 征 ) 的 。 为 什么 可 以 减少 
呢 ? 青 观察 图 4-32 中 手写 数 子 3， 一 个 像 系 周 围 的 点 和 它 十 分 相似 ， 用 奉 积 核 来 扫 
拍 图 片 的 时 候 ， 得 到 的 总 结 概 括 结 来 也 大 多 相同 ， 那 么 这 些 信息 了 束 是 几 余 的 。 于 
是 ， 需 要 让 卷 积 核 输出 的 新 图 精简 一 下 。 如 何 精 简 呢 ?还 是 一 块 一 块 地 看 这 幅 新 
图 ， 不 是 用 小 其 扫 朱 ， 而 是 像 赴 方 图 方法 中 那样 把 图 像 分 割 。 分 割 出 来 的 每 一 小 
块 都 用 一 个 统计 量 来 代 符 。 例 如 图 4-39， 分 割 后 小 块 的 大 小 是 2x2， 这 个 图 像 的 大 
小 束 古 原来 的 1 / 4。 最 利用 的 Pooling 方 法 生 取 Max。 








上 述 几 步 可 以 按照 冬 4-40 中 的 结构 连接 起 来 。 直 方 岁 方法 把 多 请 变 成 一 个 同 量 
后 丢 给 分 类 模型 ， 如 支持 向 量 机 (SVM) 。 用 卷 积 核 和 Pooling 层 生成 了 这 么 多 新 
图 ， 最 后 也 要 变 成 一 个 同 量 。 怎 么 变 呢 ? 用 一 个 全 连接 (fully - connected) 层 ， 也 
束 是 把 所 有 图 放 在 一 起 做 一 个 类 似 的 非 线 性 变换 ， 把 它 变 成 标量 ， 厌 有 了 J 了 一 个 全 
连接 层 的 单元 ;将 这 个 过 程 重 复 很 多 次 ， 残 得 到 了 一 个 同 量 。 想 象 根 据 这 个 同 量 
做 馆 辑 回归 或 者 SVM， 吏 能 得 出 属于 每 一 个 英 别 的 概率 了 。 


天 力 





Single depth slice 





图 4-39 


资料 来 源 : https: / /adeshpande3 . github . io / assets / Max Pool . png. 





图 4-40 


值得 一 提 的 是 ， 这 个 过 程 是 同步 进行 的 ， 并 不 是 和 完 算 好 了 最 后 一 层 问 量 ， 再 
来 倘 计 过 辑 回 归 或 者 S VM 的 参数 。 所 有 的 参数 是 一 起 估计 的 ， 包 括 耕 积 核 的 参 
数 ， 以 及 最 后 从 问 量 到 类 别 概率 的 参数 。 所 有 层 的 所 有 蛙 元 都 可 以 用 数学 符号 精 
确 地 表达 出 来 ， 例 如 图 4-41: 第 一 层 是 一 个 非 线 性 变换 ， 第 二 层 古 非 线 性 变换 的 结 
末 再 取 Max 函 数 ， 第 三 层 义 是 上 一 层 的 非 线 性 变换 ， 输 出 是 一 个 逻辑 回归 或 者 SVM 
的 表达 式 。 有 了 输入 、 初 怒 参 数 、 输 出 的 数 条 表 达 式 ， 束 可 以 与 出 输出 ; 知 违 丰 
实 的 分 类 ， 束 可 以 与 出 损失 函数 的 表达 式 。 对 这 个 损失 函数 求 标 度 ， 束 得 到 了 参 
数 的 移动 方向 ， 这 样 吏 可 以 用 优化 算法 了 。 优 化 的 细 克 此 处 略 去 不 讨论 。 














图 4-41 


资料 来 源 : https: / / raw . githubusercontent . com / stdcoutzyx / Blogs / 
master / blogs / imgs / n7 - 1 . png. 


不 过 ， 还 有 一 个 问题 ， 由 于 用 疮 积 核算 了 太 多 的 特征 ， 很 容易 造成 过 拟 合 。 
深度 学 习 领 域 如 何 防 止 过 拟 合 呢 ? 用 Dropout 技 术 。Dropout 是 用 来 防止 过 拟 合 的 重 
要 技术 手段 。 由 于 疮 积 核算 出 了 太 多 的 单元 〈 特 征 ) ，Dropout 把 一 些 中 国 单 元 按 
照 一 定 的 概率 将 其 暂时 从 网 络 中 丢 穿 。 暂 时 是 什么 意思 有 呢 ? CNN 训 练 是 欠 代 进行 
的 ， 每 一 次 友 代 ， 要 根据 目前 的 参数 值 算 出 C N N 的 输出 ， 对 于 所 有 的 样本 ， 可 以 

个 一 个 地 算 ， 由 于 图 形 处 理 嚣 (GPU) 设备 的 符 性， 会 把 训练 数据 分 成 很 多 
mini - batch， 每 个 mini - batch 一 起 算 。 在 计算 每 个 mini - batch 输 出 的 时 
各，Dropout 不 用 整个 网 络 ， 而 是 随机 抹 挥 一 些 单 元 。 由 于 每 个 mini - batch 都 随机 
抹 挥 了 一 些 蛙 元 ， 这 就 能 防止 CNN 模 型 过 于 依赖 某 些 特征 〈 蛙 元 ) ， 从 而 起 到 了 
防止 过 拟 合 的 作用 。 


耸 积 神经 网 络 总 续 


深度 学 习 做 铬 记分 关机 求 有 足够 多 的 岁 片 。 也 融 是 次 ， 要 看 到 各 种 各 样 的 水 
朱 ， 水 此 的 种 类 要 多 ， 每 种 水 条 的 独 请 也 要 多 ， 需 要 不 同 角度 、 不 同 光 照 ， 不 仅 
要 看 到 水 汞 外形， 还 要 看 到 水 条 切 开征 什么 样 。 


没有 足够 的 数据 ， 深 度 学 习 束 不 可 能 有 让 人 满意 的 表现 ， 例 如 ， 人 们 不 能 通 
人 图 4-43 是 什么 水 来 ， 因 为 数据 集中 没有 这 种 水 琳 的 被 标记 好 的 训 比 
效 据 。 














深度 学 习 图 形 分 类 


小 朋友 认识 水 来 以 后 可 以 虑 ， 机 各 认识 图 厂 能 够 做 什么 呢 ? 用 处 有 很 多 ， 例 
如 巨人 千 驶 需要 认 出 其 他 汽车 ， 手 机 扣 照 需要 阐 出 人 脸 。 这 里 分 圣 一 个 应 用 场 
景 : 搜索 引擎 的 搜 图 功能 。 之 前 ， 在 搜索 引 稳 中 搜索 图 厂 痢 是 依赖 网 页 中 图 片 附 
近 的 文字 ， 但 通过 文字 来 瞻 配 狗 片 可 能 很 不 精确 。 例 如 ， 在 昌 度 搜索 关键 词 “ 太 
虽 ”， 会 得 到 图 4-44。 这 是 一 幅 少 儿 漫 夯 ， 图 片 的 周围 出 现 了 “太阳 公公 早 ”。 





图 4-44 


如 未 可 以 对 搜索 到 的 图 片 进行 分 类 ， 为 图 片 打 上 标签 ， 堵 么 搜索 结 来 的 质量 
就 会 大 大 提高 ， 搜 索 太 阳 就 应 当 出 现 真正 的 太阳 的 图 片 〈 见 图 4-45) 。 


| 和 me 


图 4-45 


这 个 过 程 说 日 了 就 古 要 对 图 片 作 出 正确 的 分 类 。 如 何 通 过 CNN 完 成 这 个 任务 
呢 ? 这 里 定义 因 变 量 Y 为 多 像 毛 属 的 闫 别 ， 目 变量 X 为 大 量 市 有 标记 的 多 像 ， 使 用 
的 醒 型 是 爷 积 神经 网 络 。 


CIFAR - 10 数 据 


用 深度 学 习 处 理 实际 问题 时 ， 往 往 需要 极其 庞大 的 运算 资源 以 及 相当 长 的 等 
得 时 间 〔 儿 天 到 十 儿 天 痢 是 正常 的 ) 。 所 以 ， 人 人 们 在 研究 学 习 时 ， 委 第 使 用 一 些 
标准 的 比较 小 的 数据 集 。 这 里 展示 CNN 在 CIFAR - 10 数 据 集 中 的 表现 。CIFAR - 10 
征 由 太夫 . 羊 顿 的 两 个 脂 子 收集 的 一 个 用 于 普 适 物体 识别 的 数据 案 。 芋 恩 相 当 于 深 
及 学 习 领 域 的 武林 盟主 ， 有 是 深度 竺 习 的 先驱 。 所 以 CIFAR - 10 也 非 第 流行 。 









= 国耻 有 要 ~ 同 因 图 马云 
呈 辐 硬 室 轿 通 二 国 至 万 
| 汉 较 到 区 加 加 较 
， 痢 区 守 辐 负 首 燥 国 于 了 

[| -十 上- 











ey 











, 训 自 下 剖 鲁 凡 司 雪 久 是 
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图 4-46 


CIFA R - 10 有 60000 张 图 厂 ，10 个 类 别 ， 每 个 类 别 6000 张 ， 包括 飞机 和 鸟 、 猎 
和 狗 、 船 和 卡车 、 鹿 和 马 等 〈 见 图 4-46) 。 其 实 ，CIFAR - 10 的 图 片 尺寸 非常 小 ， 
只 有 32x32 像 素 ， 这 是 什么 概念 呢 ? 微 信 聊天 表情 的 小 黄 脸 是 50x50 像 素 
的 ，CIFAR - 10 的 图 片 比 微 信和 表情 的 图 片 还 要 小 。 为 ”什么 要 用 这 么 小 的 图 片 ? 因 
为 CNN 是 逐个 像素 来 处 理 的 ， 这 么 小 的 图 片 也 有 1024x3 个 输入 数据 (因为 色彩 三 
原色 ) 。 现 在 的 手机 动 轰 几 千 万 像素 ， 这 么 高 清 的 图 片 是 神经 网 络 处 理 不 了 的 ， 
必须 做 下 采样 ， 也 就 是 将 图 片 的 清晰 度 变 低 。 


训练 深度 学 习 模 型 
训练 深 大 和 学 习 模型 到 压 是 什么 样子 呢 ? 图 4-47 束 古训 练 过 程 中 的 输出 截图 。 













Generation 3900: Loss = 日 .55952333 
Generation 3950; Loss = 日 ,487699 
Generatlion 4000: Loss = .58090 
--- Test ACCUracy = 69.353»%. 
wenmeraton 49050: Loss = 日 .7 297 
Generation 4100: Loss = QO.47830 
Generation 4120: Loss = QO.35114 
Generation 4200: Loss = 0.1713966 
Generation 4250: Loss = 0.69719 
Generation 4300: Loss = 0Q.59265 
Generation 4330: Loss = 0.0719532 
Generation 4400: Loss = 0.418061 
weneratTLon 4430: Loss = 808.61213 
weneratLon 4500; Loss = 日,47134 
--- Test Accuracy = 10.31%. 
Generation 4550; Loss = 日 .52907 
weneratLon 46900; Loss = 日 ,2676 
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图 4-47 


训练 深度 学 习 网 络 可 以 理解 成 让 计算 机 不 断 答 试 深度 学 习 网 络 的 参数 ， 也 吏 
是 神经 网 络 的 卷 积 核 的 参数 。 通 香 神 经 网 络 的 参数 都 有 100 万 个 以 上 。 训 练 的 过 程 
台 是 每 一 步 徽 微 调整 一 下 参数 ， 看 看 损 矢 函数 的 值 有 没有 降低 。 风 4-47 中 每 一 次 友 
代 束 是 电脑 调整 了 一 下 参数 。 调 整 的 方法 丈 ” 是 各 种 各 样 的 标 度 下 降 算 法 。 训 练 过 
程 会 持续 儿 个 小 时 ， 一 般 等 到 测试 集 的 准确 率 不 再 上 升 ， 基 本 了 吏 可 以 停止 训练 
了 了。 训练 模型 可 以 让 识别 的 准确 率 最 终 达 到 75% 顽 在。 当然 ， 模 型 也 会 犯 一 些 销 
误 ， 比 如 ， 指 庵 为 马 ， 把 狗 的 头 部 照片 当成 育 蛙 ， 把 乌 的 头 部 当成 育 蛙 《〈 见 网 4- 
48) 。 





图 4-48 


简单 的 CNN 可 以 做 一 些 改进 ，CIFAR - 10 可 以 达到 8$% 甚 至 90% 以 上 的 ;准确 
率 。 人 类 在 这 个 图 像 分 类 数据 集 上 的 准确 率 大 概 是 94%。 深 度 学 习 在 整个 图 像 识别 
的 领域 已 经 很 接近 人 类 的 表现 了 ， 在 一 部 分 领域 如 人 脸 识 别 甚至 表现 得 比 人 还 
好 。 当 被 标记 的 训练 数据 足够 多 ， 束 能 构建 一 个 不 错 的 图 像 分 类 数据 集 ， 从 而 帮 
助 改 善 搜索 引擎 的 搜索 结果 。 


温 壁 提 覃 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 图 像 ?， 听 昱 姐 首 频 ! 








深度 学 习 一 — 打 麻将 


人 机 大 战 


所谓 的 人 工 智能 寄 希 望 于 计算 机 能 够 模拟 人 类 的 智能 思考 方式 ， 最 终 实现 计 
算 机 模拟 人 次 智能 的 目标 。 故 被 冠 以 “智能 ”的 计算 机 从 诞生 之 日 起 殉 设 定 了 一 个 目 
标 ， 即 同人 类 发 起 挑战 ， 布 望 在 某 些 特定 的 场景 下 与 人 类 一 争 蜗 下 。1997 年 ，IBM 
的 深 私 〈DeepBlue) 首次 在 国际 象 械 上 击败 了 人 类。2016 年 ，DeepMind 的 阿尔 法 
狗 〈AlphaGo) 在 责 棋 领域 也 击败 


了 人 类 。JIBM 的 深 复 使 用 的 是 深度 优先 搜索 〈depth - firstsearch) 相关 的 技 
本 ，DeepMind 使 用 的 是 深度 学 习 相 关 的 扩 术 。 本 案例 将 为 大 家 讲解 怎样 用 次 上 度 学 
习 技 术 教 会 计算 机 和 人 人 对抗 。 国 际 象 棋 、 团 棋 这 类 游戏 已 经 有 太 多 人 研究 过 ， 这 
里 为 大 家 带 来 更 接地 气 的 ， 即 如 何 教 会 机 占 打 奈 将 。 


图 4-49 
教会 机 堪 打 太 将 有 什么 意义 呢 ? 除了 像 阿 尔 法 独 一 样 增加 知名 度 之 外 ， 没 有 


特别 大 的 商业 意义 ， 但 这 非常 有 趣 。 从 下 全 今 ， 很 多 重要 的 进步 都 是 洲 戏 激发 
的 。 例 如 ，17 世 纪 ， 们 努 利 研究 赔 博 庆 戏 中 和 输 话 次 数 问题 ， 和 被 认为 是 概率 论 这 门 








学 科 的 开 珊 。 喝 早期 的 一 些 儿 何人 研究 也 是 人 人们 的 乔 力 游戏 。 此 外 ， 当 电脑 的 游戏 
水 平 超过 人 类 时 ， 也 会 促进 和 类 游戏 水 平 的 肥 展 ， 上 典型 的 束 是 2016 年 的 围棋 人 机 
大 战 。 在 阿尔 法 狗 胜 利 后 ， 很 多 棋 手 开始 研究 阿尔 法 狗 的 围棋 路 数 。 


用 数字 表示 游戏 


电脑 的 本 质 束 是 一 堆 电 线 ， 电 脑 用 三 进 制 处 理 所 有 问题 ， 有 电表 示 1， 没 电表 
未 0。 所 以 对 电脑 来 说 ， 一 切 邦 古 数 子 。 因 此 ， 也 需要 用 数字 来 表示 游戏 。 


胀 将 由 136 张 脾 组 成 ， 要 想 数 子 化 地 表示 厅 将 游戏 ， 束 必须 完 表 示 一 张 脾 。 通 
第 的 及 将 有 如 图 4-5 0 所 示 的 3 4 种 不 同 的 秩 ， 这 34 种 不 同 的 牌 束 是 麻将 的 文字 。 和 
处 理 文本 的 方法 类 似 ， 可 以 用 一 个 长 度 为 34 的 癌 量 来 表示 一 张 牌 。 但 和 文本 不 
同 ， 表 示 一 张 牌 最 好 的 办 法 不 是 癌 量 ， 而 是 一 个 4x9 的 窍 阵 。 例 如 ，1 简 这 张 牧 可 
以 表示 成 如 图 4-51 所 示 的 矩阵 。 





[1.，0， dd 0 0 0，0，0，0.| 
[ 8. 0 8 0 0. 0 0. 
[ 0., 0., 0., 0., 0., 0 0., 0., 6.] 
[ 8., 6. 8., 60. 0., @., 0., @., 0.| 
图 4-51 
一 组 肤 将 的 数字 化 表示 束 是 每 一 张 脾 的 对 应 矩阵 相 加 。 用 证 陡 有 什么 好 处 
呢 ? 和 窍 阵 可 以 捕捉 到 兵 将 中 一 些 符 殊 奖励 的 信息 。 例 如 ， 在 麻将 中 ， 一 二 三 简 、 
一 二 三 条 、 一 二 三 万 的 组 合 有 额外 的 番 数 奖励 ， 对 应 到 和 窍 阵 中 ， 它 表现 成 一 个 区 


域 的 数值 部 为 1 见 图 4-52〉 。 肚 将 中 的 很 多 番 数 也 能 通过 和 窍 阵 的 一 些 特征 表现 出 
来 ， 所 以 用 和 矩阵 来 表示 一 张 腑 将 有 牌 更 合适 。 





[12 ls 

[1 1 | 

L 1 1 

[ 8., 6. 0., 0 0., 0，0，0，0.| 
图 4-52 





那么 一 局 游戏 怎么 表示 呢 ? 在 肪 将 的 进行 过 程 中 ， 所 有 信息 都 表现 成 一 组 一 
组 的 奈 将 ， 用 许多 的 4x9 的 矩阵 表示 这 些 脾 〈( 见 图 4-53) 。 





ey rr 等 rr 
矩阵 5: 上 家 出 过 的 牌 矩阵 3: 下 家 出 过 的 牌 


矩阵 鼎 : 全 1 阵 


| 


算 阵 8= 和 矩阵 7+ 和 矩阵 0 

矩阵 1: 每 张 牌 a 
的 理论 剩余 上 限 一 一 一 一 

a , EE 己 吃 碰 亮 出 的 让 
矩阵 0: 手 牌 ri ee 





救 会 电脑 打 有 抹 将 

有 人 人 说， 深度 学 习 可 以 让 计算 机 目 己 学 会 东西 。 这 不 太 人 准确。 如 果 要 教会 电 
脑 打 麻将 ， 那 么 程序 设计 者 也 应 该 懂得 打 麻 将。 例如 ， 肪 将 数字 化 表示 的 过 程 中 
束 包 含 了 对 打 肪 将 的 理解 。DeepMind 的 阿尔 法 狗 束 古 如 此 。 所 以 ， 在 教会 电脑 打 
胀 将 之 前 ， 目 己 要 了 解 一 些 肪 将 的 关键 瓜 术 。 

怎样 判断 手 牧 的 好 坏 ? 


一 代 寻 人 循 发 可 央 经 在 电影 《澳门 风云 》 中 教导 谢 填 位 说 :“ 打 麻将 最 重要 的 束 
和 。 


丰 
要 想 和 有 牧 ， 丈 要 先 有 上 听 的 手 牌 ; 
要 想 上 昕 ， 束 要 先 有 差 一 张 脾 上 听 的 手 牌 ; 
要 想 差 一 张 牌 上 昕 ， 瓯 要 先 有 凑 两 张 牌 上 听 的 手 牌 ; 





这 了 鸡 有 了 矿 将 中 最 重要 的 基本 概念 之 一 : 上 上 听 数 。 差 几 张 牌 上 听 ， 残 叫 几 回 
是 。 


例如 ， 图 4-55 这 手 牌 已 经 上 昕 ， 就 是 0 向 听 。 


图 4-55 
假设 把 一 张 北 风 换 成 四 万 ， 变 成 图 4-$6 这 手 牌 。 这 手 牌 差 一 张 上 听 ， 就 叫 1 向 


09099999999999 


图 4-56 


图 4-56 这 手 1 同 昕 的 脾 ， 只 要 下 一 把 抓 到 图 4-57 中 的 7 张 牌 之 一 ， 束 可 以 上 听 ， 
这 七 张 脾 叫 有 效 脾 。 








问 听 数 最 大 为 8， 因 为 随便 找 $ 张 牌 ， 只 要 其 中 4 张 每 张 再 来 俩 ， 吏 一 定 可 以 上 
听 。 人 例如， 图 4-$8 这 手 牌 东 、 南 、 西 、 北 风 各 再 抓 两 张 ， 也 可 以 上 听 。 (如 果 要 和 


七 对 子 的话 ， 这 手 有 牌 问 昕 数 为 6。) 
自 自 目 加 四 用 书目 目 轩 


图 4-S8 


因此 ， 回 听 数 和 有 效 牌 是 评价 手 牌 好 坏 的 重要 标准 : 癌 听 数 越 小 ， 越 接近 听 
了 牌 ， 手 牌 越 好 ;有 效 牌 越 多 ， 下 一 轮 减 少 癌 听 数 的 概率 越 大 ， 所 以 同等 网 听 数 的 
情况 下 有 效 牌 越 多 ， 手 牌 越 好 。 


门 听 数 和 有 效 让 可 以 作为 打牌 的 准则 之 一 : 聊 一 张 后 ， 手 牌 变 成 14 张 ， 如 果 
没 和 的 话 就 要 再 打 一 张 ， 让 手 牌 变 回 1 3 张 。 那 么 该 打 哪 张 呢 ? 策略 之 一 就 是 奔 着 
向 听 数 和 有 效 牌 来 打 。 例 如 ， 图 4-$9 这 手 牌 14 张 ， 应 该 打 哪 张 呢 ? 


打 八 万 、 九 万 、 四 简 、 七 简 、 三 条 、 七 条 ， 回 听 数 均 为 2; 打 其 他 的 脾 ， 回 听 
数 为 3。 这 6 张 牌 中 ， 打 八 万 的 有 效 牌 最 多 ， 一 共 18 张 ， 也 束 是 说 ， 如 果 下 一 把 拿 
到 冬 4 60 中 的 18 张 之 一 ， 兴 可 以 变 成 1 向 听 ， 即 差 一 张 牌 上 听 。 


sgonanaon0onne 


图 4-60 


胀 将 噩 手 会 拭 计 看 问 听 数 和 有 效 牌 来 打 ， 及 将 洒 马 和 赁 感觉 打 ， 其 实 也 是 在 奔 
看 问 听 数 减 小 。 打 肪 将 ， 近 牧 丰 随机 的 ， 没 有 任何 技术 含量 (除非 出 老 干 )， 关 
键 在 怎么 打 ， 让 剩 下 的 手 牌 越 接 近 上 听 越 好 ， 越 容易 上 上 听 越 好 。 也 婚 是 说 ， 辣 听 
数 越 小 越 好 ， 有 效 牌 越 多 越 好 。 


上 般 来 说 ， 麻 将 起 手 部 是 3 同 听 或 者 4 问 昕 。 图 4-61 展 示 的 古 起 手 癌 昕 数 的 分 
布 ， 以 及 对 应 的 胜率 统计 。 
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图 4-61 


从 图 4-61 可 以 看 到 ，70% 的 起 手 部 是 3 四 听 或 者 4 癌 听 ， 这 些 叫 做 普通 起 于 ， 例 
如 图 4-62 这 于 牌 焉 是 3 癌 听 。 


辐 同 则 同 同 站 站 


图 4-63 


打 厅 将 的 本 质 ， 孢 是 每 一 轮 做 决策 ， 丢 弃 一 张 牌 ， 使 得 同上 听 数 尽量 降低 ， 并 
有 使 剩余 手 牌 可 能 和 的 番 数 尽量 大 。 教 会 电脑 打 克 将 需要 做 的 是 : 第 一 ， 教 会 电 
脑 看 恒 手 牌 的 癌 听 数 ;， 第 二 ， 让 电脑 能 估计 出 最 终 和 牌 番 数 的 期 望 一 一 会 不 会 
和 ， 以 及 可 能 和 多 少 番 。 


用 CNN 神 经 网 络 评价 手 牌 的 好 坏 


把 厂 将 辐 听 数 做 线性 变换 映射 成 手 牌 价值 分 。10 分 对 应 看 听 有 凰 ，0 辐 昕 ;: 2 分 
对 应 着 8 向 听 ， 最 差 的 有 牌 。 再 把 这 个 分 数 连续 化 ， 即 基础 分 加 下 一 把 摸 到 有 效 牌 的 
概率 。 例 如 ， 当 前 同上 听 数 为 2， 对 应 看 8 分 ， 下 一 张 脾 摸 到 有 效 牌 的 概率 是 30%， 那 
么 当前 手 牌 的 价值 分 束 是 8.3。 


使 用 CN NN 来 学 习 手 牌 的 价值 分 
对 每 个 样本 来 说 ，CNN 的 输入 〈X) 就 是 大 和 干 个 4x9 的 和 矩阵， 表示 手 牌 的 各 种 


信息 ， 例 如 手 牌 都 有 什么 ， 理 论 上 每 张 牌 还 剩余 多 少 等 ;输出 就 是 手 牌 的 价值 分 
(Y) 。 使 用 两 层 隐藏 屋 〈 见 图 4 - 64) ， 每 层 的 大 小 为 236。 输 入 数据 为 100 万 个 


随机 生成 的 手 牌 样本。 这 种 设 定 下 ， 使 用 家 用 GPU 训练 模型 要 2 小 时 左右 。 





隐 肤 层 1 隐藏 层 2 
图 4-64 


图 4-65 展 示 了 神经 网 络 学 习 手 牌价 值 分 的 结果 。 模 轴 是 真实 分 数 ， 纵 轴 是 神经 
网 络 样本 预测 的 分 数 。 可 以 看 到 ，CNN 可 以 很 好 地 评价 手 牌 的 好 坏 。 


使 用 增强 学 习 佑 计 最 终 和 牌 番 数 的 期 望 


最 终 和 牌 番 数 可 能 是 1 番 、2 番 、64 番 ， 也 可 能 是 负数 番 ， 表 示 给 别人 点 炮 或 
者 有 人 自摸 ，0 番 则 表示 其 他 人 和 有 牌 或 点 炮 。 最 终 和 牌 的 番 数 取决 于 接 下 来 怎么 
打 ， 打 得 好 ， 和 的 可 能 性 就 大 。 反 过 来 ， 接 下 来 怎么 打 要 考虑 剩余 手 牌 的 价值 分 
以 及 最 终 的 结果 。 这 是 一 个 鸡 生 蛋 和 蛋 生 鸡 的 问 


是。 机 可 学 习 领 域 有 一 类 方法 叫做 增强 学 习 ， 增 强 季 习 能 同时 学 打 脾 的 东 略 
以 及 对 状态 价值 的 评估 。 





图 4-65 


增强 学 习 可 以 看 做 一 个 不 断 符 试 的 过 程 。 如 图 4-66 所 示 ， 饥 饿 的 小 老鼠 想 要 在 
迷 豆 中 尽快 找到 奶 酷 。 每 走 一 步 ， 小 老 叶 由 于 饥 饿 ， 生 命 值 会 减少 1; 找到 了 奶 
栈 ， 小 老鼠 的 生命 值 会 加 50。 游 戏 会 一 是 进行 下 去 ， 朋 到 小 老 思 死亡 或 者 找到 奶 
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图 4-66 


小 老 限 怎样 才能 找到 奶酪 呢 ? 它 知 要 问 “ 价 值 蝇 ”的 位 置 移动 。 离 奶 栈 越 近 ， 价 
值 越 蜗 ， 离 奶 栈 越 远 ， 价 值 越 低 ;， 如 趟 小 老鼠 找 不 到 奶酪 而 死亡 ， 则 没有 交 励 。 
这 与 打 胀 将 面临 的 鸡 生 重 和 重生 鸡 的 问题 一 样 ， 要 同时 估计 一 个 位 置 的 价值 以 及 
以 这 个 位 置 价值 为 基础 的 行动 案 略 。 


增强 学 习 怎 么 学 习 了 呢 ? 首先 ， 它 给 每 个 状态 一 个 基础 价值 ， 这 个 基础 价值 可 
能 是 随机 的 ， 也 可 能 是 给 予 东 坚 移 验 信 息 的 。 知 道 了 每 个 状态 的 价值 ， 束 可 以 的 
照 这 个 价值 来 实施 蛇 略 。 需 要 注意 的 是 ， 这 个 蛇 略 个 需要 是 最 优 策略 。 有 了 守 
略 ， 增 强 学 习 承 可 以 开始 不 断 符 试 ， 例 如 不 断 地 重复 一 万 次 走 迷 避 或 者 打 厅 将 ， 
记录 所 有 路 径 中 内 状态 ， 然 后 用 每 次 六 戏 的 最 终结 案 反 过 来 修正 所 在 过 程 中 鸭 状 





具体 到 打 麻 将 的 情景 。 假 设 每 一 手 脾 部 对 应 看 一 个 和 碑 价 值 。 和 凰 价值 的 定 
义 是 从 当前 手 牌 开始 打牌 ， 最 后 可 能 的 和 牌 番 数 的 期 望 。 电 脑 开 始 以 一 定 的 策略 
打牌 ， 当 牌 局 结束 时 ， 用 最 终 的 得 衣 结 来 来 修正 过 去 丝 历 的 状态 的 和 让 价值。 下 
观 上 看 ， 这 手 牌 未 来 无 论 怎么 打者 会 邓 ， 那 说 明 现 在 这 手 牌 的 和 牌价 值 很 局， 反 
过 来 ， 如 来 无 论 怎么 打 ， 示 来 部 是 输 ， 那 就 说 明 这 手 牌 价值 较 低 。 整 个 增强 学 习 
的 过 程 束 古 个 断 答 试 策略 ， 然 后 修正 价值 ， 再 更 狐 人 上 略 ， 骨 修正 价值 的 过 程 。 


深度 学 习 在 麻将 上 的 应 用 


肪 将 有 108 张 碑 ， 而 手 牌 只 有 1 3 张 ， 所 有 可 能 的 牌 的 组 合 是 十 分 巨大 的 。 也 融 
征 说 ， 即 便 让 计算 机 反复 玩 几 亿 次 ， 它 可 能 还 有 很 多 没 见 过 的 状态 ， 蝎 谈 不 上 反 
复 欠 代 更 狐 状 态 。 和 疼 像 关 似 ， 一 幅 岁 像 改变 一 芋 像 素 并 不 影响 它 的 内 容 ， 略 微 
不 同 的 像素 定 阵 对 应 看 相同 的 物体 ， 太 将 中 也 是 如 此 ， 略 微 不 同 的 是 于 牌 矩阵 对 
应 看 相同 的 和 碑 价 值 。 所 以 ， 这 里 用 一 个 价值 函数 来 表示 这 种 关系。 函数 的 输入 
是 手 牌 矩 阵 ， 函 数 的 输出 是 和 牌价 值 。 函 数 形式 是 什么 呢 ? 深度 神经 网 络 。 


这 样 来 看 ， 增 强 学 习 的 核心 任务 束 是 将 学 习 不 同 状态 的 价值 变 成 学 习 ”价值 函 
数 隐 参数。 深度 学 习 使 用 深层 神经 网 络 来 近似 价值 疯 数 ， 整 个 学 习 问 题 就 变 成 了 
学 习 网 络 参 数 。 使 用 Tensor ” Flow 等 深度 学 习 框架 ， 束 可 以 训练 出 会 打 厂 将 的 电脑 
本 。 


学 习 结果 


图 4-67 是 一 个 训练 好 的 模型 的 模拟 结果 ，4 台 电脑 开始 对 打 。 程 序 从 0 开始 计 
族 ，Round 表 示 从 让 山中 摸 牌 的 数量 。 最 后 一 列表 示 综 合 的 价值 得 分 ， 越 大 表示 手 
ee 


Round: 52 Player 0 手 牌 6 万 7 万 7 万 4 简 4 简 6 简 7 简 7 简 6 亲 8 条 1 字 3 字 5 字 6 字 | out: 3 字 value: 1.64937020323 
Round: 53 Player 1 手 牌 1 万 1 万 6 万 8 万 2 条 3 条 3 条 5 条 5 条 5 条 1 字 1 字 3 字 4 字 | out: 3 字 value: 1.98565765538 
Round: 54 Player 2 手 牌 1 万 3 万 4 万 9 万 9 万 5 简 7 简 9 简 2 条 2 条 5 条 7 条 日 条 3 字 | out: 3 字 value: 1.75829649171 
Round: 55 Player 3 手 牌 1 万 2 万 2 万 6 万 1 简 1 简 3 简 4 简 5 简 6 简 8 条 1 字 4 字 7 字 | out: 7 字 value: 1.74914068313 
Round: 56 Player 0 手 牌 4 万 6 万 7 万 7 万 4 简 4 简 6 入 7 简 7 简 6 条 8 条 1 字 5 字 6 字 | out: 6 字 value: 1.66304895912 
Round: 57 Player 1 手 牌 1 万 1 万 6 万 8 万 2 条 3 条 3 条 4 条 5 条 5 条 5 条 1 字 1 字 4 字 | out: 4 字 value: 2.91744528276 
Round: 58 Player 2 手 牌 1 万 3 万 4 万 9 万 9 万 5 简 7 科 9 简 2 条 2 条 5 条 7 条 8 条 2 字 | out: 2 字 value: 1.76701114886 
Round: 59 Player 3 手 牌 1 万 2 万 2 万 6 万 7 万 1 简 1 简 3 简 4 简 5 简 6 简 8 条 1 字 4 字 | out: 1 字 value: 1.90266580499 
peng lHllill 

Round: 59 Player 1 手 牌 1 万 1 万 6 万 8 万 2 条 3 条 3 条 4 条 5 条 5 条 5 条 |1 字 1 字 1 字 out: 3 条 value: 3.06369188059 
Round: 60 Player 2 手 牌 1 万 3 万 4 万 9 万 9 万 5 简 7 简 9 简 2 条 2 条 4 条 5 条 7 条 B8 条 | out: 1 万 value: 1.9958899882 
Round: 61 Player 3 手 牌 1 万 2 万 2 万 5 万 6 万 7 万 1 向 1 简 3 简 4 科 5 简 6 简 8 条 4 字 | out: 4 字 value: 3.19764246747 
Round: 62 Player 0 手 牌 4 万 6 万 7 万 7 万 4 简 4 简 6 简 7 简 7 简 6 条 8 条 8 条 1 字 5 字 | out: 1 字 value: 1.67921886389 
Round: 63 Player 1 手 牌 1 万 1 万 6 万 8 万 2 简 2 条 3 条 4 条 5 条 5 条 5 条 |1 字 1 字 1 字 out: 2 简 value: 4.691102236 
Round: 64 Player 2 手 牌 3 万 4 万 9 万 9 万 5 简 7 简 9 简 2 条 2 条 4 条 5 条 7 条 7 条 8 条 | out: 7 条 value: 2.07074161041 
Round: 65 Player 3 手 牌 1 万 2 万 2 万 5 万 6 万 7 万 1 简 1 简 1 简 3 简 4 简 5 简 6 简 B 条 | oul: 8 条 value: 5.15948962251 
peng | 
Round: 65 Player 0 手 牌 4 万 6 万 7 万 7 万 4 简 4 简 6 简 7 简 7 简 6 条 5 字 |8 条 8 条 8 条 out: 5 字 value: 1.73745078413 
Round: 66 Player 1 手 牌 1 万 1 万 6 万 8 万 2 条 3 条 4 条 5 条 5 条 5 条 7 条 |1 字 1 字 1 字 out: 7 条 value: 4.73030489519 
Round: 67 Player 2 手 牌 3 万 4 万 9 万 9 万 3 简 5 简 7 简 9 简 2 条 2 条 4 条 5 条 7 条 8 条 | out: 3 简 value: 2.29774739934 
Chi Hil 

Round: 67 Player 3 手 牌 1 万 2 万 2 万 5 万 6 万 7 万 1 简 1 简 1 简 3 简 6 简 |4 简 5 简 3 简 out: 1 万 value: 5.2706084286 
Round: 68 Player 0 手 牌 2 万 4 万 6 万 7 万 7 万 4 简 4 简 6 简 7 简 7 简 6 条 |8 条 8 条 8 条 out 6 条 value: 2.79641066114 
Round: 69 Player 1 手 牌 1 万 1 万 6 万 8 万 9 万 2 条 3 条 4 条 5 条 5 条 5 条 |1 字 1 字 1 字 out: 6 万 value: 4.76235870817 
Round: 70 Player 2 手 牌 3 万 4 万 9 万 9 万 5 简 7? 简 9 简 2 条 2 条 4 条 5 条 6 条 7 条 8 条 | out: 5 简 value: 3.44058836653 
Round: 71 Player 3 手 牌 2 万 2 万 5 万 6 万 7 万 8 万 1 简 1 简 1 简 3 简 6 简 |4 简 5 简 3 简 out: 3 简 value: 5.89674970043 
Round: 72 Player 0 于 牌 2 万 3 万 4 万 6 万 7 万 7 万 4 疝 4 向 6 出 7 向 7 向 | 和 杀 和 条 8 杀 out: 7 万 value: 4.51605433402 
Thu HNN 0 dian pm Wl 





图 4-67 
训练 好 的 神经 网 络 已 经 知道 先 把 一 些 字 牌 打出 去 ， 例 如 图 4-67 前 儿 轮 ， 电 脑 选 


择 将 字 牌 第 三 张 《 西 风 ) 打出 去 。 此 外 ， 随 看 行 牌 的 进行 ， 手 牌 的 价值 得 分 正在 
慢 慢 增加 ， 这 次 明 电 脑 的 梨 略 有 效 。 在 行 牌 20 轮 左右 时 ， 编 吕 为 1 的 玩家 和 牌 ， 纺 
号 为 0 的 玩家 氮 炮 。 


很 遗憾 ， 目 前 的 人 工 智 能 水 平 还 不 能 和 人 类 过 招 。 一 般 来 讲 ， 基 于 深 度 学 习 
的 智能 游戏 方法 部 需要 大 量 的 计算 和 局 度 复杂 的 模型 。 但 本 采 例 仍然 古 有 意义 
的 ， 因 为 没有 告诉 计算 机 任何 天 于 肪 将 的 基础 知识 ， 其 全 不 知 记 和 有 碑 的 规则 进 
行 洲 戏 时 的 和 碑 判 断 由 态 外 独立 的 系统 完成 ) ， 深 度 学 习 网 络 也 可 以 有 模 有 样 地 
打 麻 将 。 这 下 是 深 友 学 习 最 奇妙 之 处 : 它 可 以 局 度 地 模仿 和 近似 人 类 行为 ， 但 却 
不 一 定 和 人 类 用 一 样 的 方法 。 现 在 也 有 一 种 说 法 ， 人 工 智能 这 个 词 可 能 个 太 恰 
当 ， 应 当 叫 机 器 智能 ， 也 许 束 是 出 于 这 样 的 考虑 吧 ! 


温 壁 提醒: 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 研 将 ”， 听 昱 姐 音频 ! 











K 均 值 涌 尖 一 一 狗 屿 皮 畦 的 白 度 广告 投放 


狐 的 一 年 ， 狗 能 会 决定 拓展 狐 的 业务 ， 投 映 实 体 经 济 ， 玫 助 国家 经 济 转型 。 
那 做 什么 产业 比较 好 呢 ? 大 家 和 争 来 搜 去 ， 有 想 开 闲 条 钱 的 ， 有 想 生 产 空气 净化 融 
的 ， 还 有 准备 霹 机 融 人 陪 目 己 打 及 将 的 ， 实 在 拿 不 定 主 意 。 此 时 ， 能 大 大 手 一 
挥 :“ 不 要 和 搜 了 了， 咀 们 进军 鞋 业 吧 ， 买 不 出 去 还 能 目 己 穷 。” 由 此 ， 狗 能 及 鞋 | 束 正 
式 开 张 了 。 然 而 实际 做 起 来 才 友 现 ， 目 前 的 鞋 业 市 场 已 经 饱和 ， 客 尸 的 忠 茂 度 很 
局 ， 这 个 新 品牌 要 买 出 去 ， 必 须 做 好 一 件 事 冒 传 ， 塞 传 ， 守 传 ! 如 何 做 好 
宣传 工作 呢 ?” 人 能 大 肯 先 想到 了 去 搜索 引 稳 上 打 广 告 。 


搜索 引擎 广告 介绍 

搜索 引 车 广告 目前 已 经 成 为 广告 主 吸引 用 户 的 重要 手段 之 一 。 因 此 ， 品 大 决 
定 将 全 部 资金 用 于 在 搜索 引擎 上 投放 广告 ， 这 样 当 顾客 便 用 搜索 引擎 《例如 日 
度 ) 时 ， 会 弹出 标 有 “商业 推广 《广告 ) ”的 关于 狗熊 友 鞋 的 搜索 结果 。 


说 起 来 答 单 ， 但 行动 后 发 现 这 其 中 有 很 多 门道 〈 见 图 4-68) : 如 果 你 
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New Balance/NB 574 系 列 女 鞋 复古 鞋 跑步 EE: 
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3 了 794 系 囊 相 纹 内 里 设计 增 潭 洁 深 气息 


天 而 全 天 珊 次 移 商 品 通用 去 乔 券 ”性 
价格 ¥659.00 


反观 江苏 苏州 | 至 北京 快递: 0.00 


月 饥 司 2282 黑 计 评价 13707 和 送 无 9 刊本 1 329 
站 【全 转化 : 完成 购买 
三 酌 35 上 36 36.5 37 2 | 37.5 | 了 39 40 





购买 了 “ 扩 鞋 ”这 个 关键 词 ， 那 么 用 户 在 百度 搜索 “ 扩 畦 ”时 ,， “狗熊 脾 * 反 畦 丈 可 
能 出 现在 搜索 结 末 中 ， 这 岂 1 次 展现 ， 用 尸 觉 得 “狗熊 牧 ” 及 圣 远近 闻名 ， 罕 过 都 说 
好 ， 那 么 他 可 能 点 进去 看 看 ， 这 叫 1 次 点 击 ; 用 尸 挟 进去 友 现 竟然 是 能 大 代言 ， 品 
质 有 保证 ， 立 即 下 单 买 买 买 ， 这 叫 发 生 1 次 转化 。 更 确切 地 说 ， 只 有 发 生 了 转化 ， 
这 个 广告 化 费 才 是 值得 的 ， 而 展现 和 氮 击 再 多 ， 没 有 转化 也 是 日 挫 。 


正如 瑞 国 著名 作家 壮 : 绪 儒 斯 说 过 ， 同 样 一 只 圣 ， 并 不 是 所有 的 人 罕 了 都 会 合 
脚 。 次 似 地 ， 一 个 产品 ， 也 不 是 所 有 的 关键 词 都 有 助 于 销售 。 那 么 ， 在 哪些 关键 
词 上 进行 广告 投放 比较 好 呢 ? 本 案例 以 “狗熊 脾 ” 在 一 个 月 内 的 广告 投放 结果 为 例 ， 
给 出 了 1982 个 关键 词 的 三 告 展示 统计 结果 。 




















数据 介绍 

这 份 数据 中 每 一 条 对 应 的 是 一 个 关键 词 的 统计 结果 ， 比 如 关键 词 “ 狗 能 "， 对 应 
有 展现 量 688954， 点 击 数 29022 以 及 转化 量 486， 详 细 说 明 如 表 4-5 所 示 。 
变量 : : 本 
类 弄 变量 名 详细 说 阴 取 值 范围 备注 


米 他 { 占 了 十 可 上- a eT i ee 
化 LL 数 便 型 巡 量 站 一 一 站 名 和 用 F : 元 成 购 大 行为 


单位 ; 次 
关键 词 。 字符 型 变 时 人 
和 展现 值 1 一 688 954 a 人 
县 单位 ,次 用 己 搜 索 结 果 中 
所 击 量 效 全 型 变量 0 一 29 022 用 户 点 击 广 告 链接 


表 4-5 数 据 变 量 说 明 表 


因为 关心 的 核心 问题 是 关键 词 的 转化 迟 况 ， 所 以 初步 把 转化 量 作 为 因 变 量 ， 
但 根据 场景 不 同 ， 优 化 的 目标 可 能 会 有 差异 ， 后 面 会 具体 介绍 。 


关键 词 介 绍 


对 目标 了 如 指 掌 ， 方 能 手 到 擒 来 。 首 先 看 这 些 关 键 词 的 特征 。 图 4-69 展 示 了 
这 1982 个 关键 词 的 长 大 分 布 。 原 来 ， 大 多 数 天 键 词 长 度 都 在 7 左右 ， 然 而 有 一 些 特 
别 长 的 关键 词 ， 比 如 “狗熊 圣 bearshoes 官 方 经 销 网 站 ”这 个 词 ， 长 度 为 19， 是 所 有 关 
键 词 中 最 长 的 。 而 词 长 大 于 1 3 的 束 很 少 了 人， 这 是 因为 在 搜索 过 程 中 太 长 的 词 并 不 
容易 和 被 搜 到 ， 上 所 以 涉及 的 竞价 关键 词 较 少 。 
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辐 长 
图 4-69 ”关键 词 的 长 度 分 布 


这 些 关 键 词 包 侣 哪些 信息 昵 ? 词 云图 可 以 给 出 答案 〈 见 图 4-70) 。 词 云图 显 
示 ， 独 能 、bear、 休 闲 、 男 鞋 等 出 场 率 都 很 局 ， 但 这 征 个 是 意味 寿 闪 4 要 购买 这 些 天 
键 词 就 能 市 来 巨大 的 收 荔 呢 ?” 还 不 一 定 ， 可 能 大 家 束 爱 搜索 “狗熊 ”这 个 关键 词 来 查 
找 狗 能 会 相关 内 容 ， 但 是 从 来 不 夹 狗熊 皮 畦 ， “狗熊 ”这 个 关键 词 出 现 再 多 也 白搭 。 
因此 还 要 绪 合 转化 量 的 数据 来 进行 细致 分 析 。 


天 中 的 方案 一 


既然 要 找 能 带 来 最 大 转化 量 的 关键 词 ， 束 要 对 转化 量 排 个 序 ， 取 前 六 个 关键 
词 ， 结 果 如 图 4-71 所 示 。 


然而 ， 这 个 关键 词 投资 方 采 侯 能 大 一 坚 否 决 了 。 原 来 并 不 是 所 有 关键 词 的 价 
格 都 相同 ! 搜索 引 敬 对 关键 词 的 收 旨 是 按 其 每 次 点 击 付 弗 (cost perclick, CPC) 。 
换 名 话说， 为 了 利 蔓 最 大 化 ， 不 仅 需 要 郑 碟 这 个 关键 词 所 能 “市 来 的 收入 ， 也 要 考 
碟 其 所 消耗 的 成 本 。 比 如 ， 假 设 搜索 引擎 每 次 关键 词 点 击 按 1 元 收费 ， 关键 词 “狗熊 
大 鞋 "一 个 月 能 各 来 10 次 转化 ， 总 收入 100 元 ， 但 是 其 一 个 月 的 点 击 次 数 为 1000， 总 
化 费 为 1000 元 ， 最 终 还 忆 了 900 元 ; 而 关键 词 “ 狗 能 小 圣 ” 一 个 月 隐 $ 次 转化 ， 总 收入 
50 元 ， 但 其 一 个 月 点 击 次 数 为 40 次 ， 核 算 后 还 赚 了 10 元 。 这 个 例子 说 明 ， 单 纯 的 
转化 量 并 不 合适 ， 应 该 结合 点 击 数 (成 本 ) 一 起 考虑 。 
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图 4-71 前 6 大 关键 词 的 转化 率 
成 长 的 方案 二 


为 了 综合 考虑 收 荔 和 成 本 ， 重 狐 定 义 了 “转化 率 ”( 即 转化 /点击 〉 作 为 新 的 因 
变量 。 章 复 上 述 过 程 ， 可 以 挑选 出 转化 京 最 品 的 前 6 个 关键 词 ， 结 霖 如 图 4-72 所 
不 。 


省、 


100- 


Qs"= 














O25- 








中 国 沟 能 性 ”bear 狗 随 正品 专柜 ide ty 美国 阁 熊 皮 桂 怎么 样 ” 狗 能 优惠 卷 
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图 4-72 ”综合 考 碟 收益 与 成 本 的 转化 率 对 应 的 6 大 关键 词 


最 高 的 5 个 关键 词 转化 率 竟 然 达 到 了 11! 这 和 意味 看 只 要 有 人 点 了 链接 ， 就 能 鼠 
出 一 双 鞋 ;和 猎 下 的 关键 词 “狗熊 优惠 大 ”也 人 不过， 超过 0.5! 再 来 看 看 这 些 天 键 词 的 
原始 结果 〈( 见 表 4-6)〉。 





表 4-6 
中 国 狗 能 鞋 50 2 2 | 
bear 狗 能 正品 专 想 72 l 1 ] 
狗 能 有 牌 鞋子 官网 2 1 ] 1 
狗熊 牌 优 惠 基 5 1 ] ] 
美国 狗 能 皮鞋 怎么 样 45 | 1 | 
独 能 优惠 郊 74 13 7 0. 54 


这 个 结 时 并 不 乐观 ， 如 果 只 付费 购买 这 6 个 扫 索 关键 司 ， 一 个 月 就 只 能 志 出 13 
双 鞋 。 再 来 看 看 其 他 转化 率 排名 比较 高 的 词 ， 发 现 都 是 这 种 情况 。 这 些 词 就 是 
党 所 说 的 "长 是 关键 订 "， 它 们 的 一 大 特征 就是 流量 低 但 意义 间 常 内 体 ”这 些 河 可 以 
很 高 效 地 带 来 客户 ， 所 以 成 本 相对 来 说 很 少 ， 但 同时 由 于 点 击 人 数 太 少 ， 只 投资 
这 些 关键 词 并 不 会 给 产品 带 来 销量 的 明显 提高 。 为 了 更 好 地 表示 不 同 关键 词 与 转 
化 量 的 关系 ， 粗 略 绘制 了 图 4-73。 


」 主要 天 键 问 : 
局 六 化 ,高 成 本 





长 尾 关 定语 : 
{ 氏 和 夸 化 .人质 成 本 





关键 词 长 度 
图 4.73 ”关键 词 与 转化 示意 图 


深思 熟 虑 的 方 生 三 


前 面 定义 的 因 变 量 “ 转 化 率 ” 是 基于 点 击 数 的 。 有 些 关 键 词 的 转化 率 虽 然 很 高 ， 
但 有 可 能 是 由 于 偶然 情况 导致 的 。 比 如 ,，“ 狗 能 皮鞋 要 上 天 ”这 个 关键 词 本 月 偶然 发 
生 了 一 次 上 点击， 刚刚 好 又 发 生 了 一 次 转化 ， 转 化 率 一 下 了 加 达到 了 100%1! 但 是 这 种 
好 运 能 不 能 持续 呢 ? 如 果 把 全 部 的 广告 资源 寄托 于 这 个 关键 词 ， 第 二 天 说 不 定 不 
仅 没 有 转化 ， 可 能 连 半 个 点 击 都 没有 。 因 此 只 考虑 转化 率 也 是 不 太 合 理 的 。 为 
此 ， 熊 大 和 希望 能 对 所 有 关键 词 进 行 目 动 分 类 ， 帮 助 他 找到 那些 “转化 率 ” 很 高 同 
时 “转化 量 ”* 也 很 高 的 词 。 这 里 便 用 到 了 聚 类 分 析 。 


聚 类 之 前 ， 首 先 选 出 所 有 转化 量 为 0 的 词 ， 一 共 1852 个 ， 占 总 数 的 93.49%。 可 
以 看 到 ， 绝 大 多 数 的 词 都 不 能 带 来 真正 的 效益 ， 因 为 它们 一 个 买 家 都 没有 吸引 
到 。 当 然 ， 考 虑 到 现在 只 有 一 个 月 的 数据 ， 测 试 时 间 比较 短 ， 所 以 目前 没有 转化 
量 的 词 并 不 代表 之 后 也 没有 转化 量 ， 只 能 说 这 部 分 0 转化 的 词 是 目前 不 会 优先 考 上 
9 词 。 


利 下 的 130 个 词 就 是 需要 进行 挑选 的 关键 词 。 将 点 击 量 、 转 化 率 、 展 现 值 和 词 
长 作为 变量 ， 标 准 化 之 后 进行 K 均值 聚 关 ， 聚 类 个 数 定 为 4， 得 到 如 表 4-7 所 示 的 各 


个 闫 列 中 心 。 


第 一 闫 关键 词 的 特 氮 是 点击 量 低 ， 但 是 转化 量 很 局， 关键 词 通 香 比 较 长 ， 这 
正 是 在 方案 二 中 找到 的 那些 长 尾 关 键 词 。 这 类 词法 量 少 ， 窗 盖 面 罕 ， 搜 索 会 很 不 
稳定 ， 但 它们 的 转化 率 很 蜗 且 成 本 很 低 ， 因 此 应 该 将 它们 收入 赛 中 ， 但 不 能 只 灭 
a 





表 4-7 四 类 天 键 词 的 中 心 对 比 表 


”类别 点 击 量 转化 率 ”展现 信 。 词 长 


关键 词 人 数 特点 
第 一 类 281 0.73 


5 于 7 11 低 点 击 、 高 转化 
第 二 尖 29022 0.02 688 954 2 | 高 息 击 、 低 转 北 
第 三 类 159.52 0.06 1427.60 6.83 6] 次 低 点 击 、 次 高 转化 
第 四 类 741.17 0.03 9061.43 4.49 51 


次 局 点 击 、 次 低 转 化 


第 二 类 关键 词 上 只 有 一 个 ， 即 “狗熊 ”， 就 是 开头 介绍 的 “高 点 击 、 低 转化 ”的 典型 
代表 。 这 种 热门 关键 词 通 党 价格 很 高 ， 因 此 成 本 有 限 的 时 候 可 以 层 重 考虑 。 

第 三 、 四 类 关键 词 的 个 数 比 较 多 ， 为 了 直观 地 展示 这 些 词 的 特点 ， 为 每 个 类 
别 绘制 了 词 云 图 ， 结 果 如 图 4-7 4 所 示 。 

第 三 类 主要 由 长 词 构成 ， 它 们 的 点 击 量 很 低 ， 但 是 转化 率 还 可 以 ; 第 四 类 词 
的 长 上 度 相 对 较 短 ， 它 们 很 容易 被 搜 到 ， 点 击 量 比较 高 ， 但 转化 率 相 对 较 低 ， 例 
如 “ 狗 能 官方 商城 这 个 词 ， 一 个 月 内 有 606 次 点 击 ， 带 来 ”了 40 次 转化 ， 转 化 率 为 
0.067， 表 现 还 不 错 。 第 三 类 和 第 四 类 词 应 该 如 何 选 择 呢 ?能 大 认为 ， 关 键 词 应 该 
是 广告 主 用 以 定位 潜在 客户 的 字眼 ， 它 的 目标 应 该 是 吸引 新 的 客户 购买 其 产品 ， 
因此 更 局 的 点 击 量 表明 该 关键 词 带 来 了 更 多 的 流量 ， 吸 引 客 户 的 能 力 更 强 ， 会 有 
更 多 的 机 会 让 客户 进一步 了 解 目 己 的 产品 。 在 这 种 方针 指导 下 ， 更 倾 问 于 选择 第 
四 类 关键 词 。 
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图 4-74 ”第 三 类 与 第 四 类 词 的 词 去 


尽 害 进行 了 上 述 分 析 ， 确 定 最 后 的 广告 投放 全 略 还 需要 很 多 额外 的 信息 。 例 


如 ， 每 个 关键 词 的 单 次 点 击 价 格 还 和 其 他 商家 对 这 个 关键 词 的 部 价 有 天 ， 一 些 热 


Bd 


门 天 键 词 ， 如 " 淘 军 狗熊 ?或 者 “ 度 畦 ”， 昌 然 用 户 很 容易 搜索 这 闫 词 ， 但 如 朱 有 很 多 
商家 购 灭 该 天 键 词 广告 ， 会 使 得 该 天 键 词 定价 所 局 ， 成 本 会 提升 ， 很 不 划算 。 由 
此 可 网 ， 实 际 业务 操作 中 ， 和 情况 要 复杂 得 多 。 同 时 ， 关 人 键 词 从 语义 上 也 分 为 很 多 
类 ， 在 词 云图 中 看 到 的 “狗熊 “为 畦 “休闲 鞋 ” 也 分 属 不 同 的 类 列 并 有 看 个 同 的 束 
略 。 这 里 给 大 家 分 享 一 个 竞价 分 配方 案 :“50 % 预 算 购买 行业 词 ，30 % 预 算 购 买主 
打 产 品 词 ，20 % 预 算 购 美 长 尾 词 *。 有 兴趣 的 读者 可 以 深入 探索 。 








温 壁 提 覃 : 进入 狗熊 会 公众 写 〈《CluBear) 输入 文字 :“ 皮 鞋 ”， 听 灰 灰 首 频 ! 


第 五 草 / Chapter Five 非 结构 化 数据 





移动 互联 网 时 代 ， 数 据 的 一 大 特征 束 古 非 结构 化 。 数 据 古 结构 化 的 还 古 非 结 
构 化 的 ， 是 一 个 相对 的 概念 。 例 如 ， 一 般 认 为 ， 中 文 文本 是 非 结 构 化 数据 。 但 
征 ， 通 过 分 词 后 ， 一 个 文档 稼 各 可 以 通过 一 个 超 高 维 了 的 、 天 于 词 频 的 黎 瞩 癌 量 来 
表达 。 辣 量化 后 就 不 再 是 非 结 构 化 的 了 。 所 以 ， 数 据 是 不 是 非 结 构 化 的 ， 是 一 个 
相对 的 其 全 是 市 有 主观 色彩 的 概念 。 对 一 些 典 型 的 数据 类 型 ， 大 家 有 一 些 约定 众 
成 有 的 共识 例如 ， 中 文 文本 束 古 非 结构 化 数据 ) 。 下 面 将 通过 儿 个 实际 采 例 ， 对 
中 文 文 本 、 网 络 结构 、 图 像 等 一 系列 公认 的 非 结构 化 数据 进行 条 例 分 至 。 























中 文 文本 一 一 小 说 的 三 要 系 : 以 《限于 傍 》 为 例 





2015 年 9 月 ， 根 据 海 受 同 名 小 说 改编 的 架空 权 许 闫 电视 剧 《 刺 于 榜 》 玫 登 殉 
屏 ， 此 后 收视 率 低 开 局 走 ， 一 路 欧 升 到 第 一 名 。 访 剧 豆 准 评 分 局 过 9.2 分 ， 航 观众 
称 为 田 版 《 暴 召 传 》、 中 国 版 《基督 山 介 野 》。 访 剧 的 热 播 也 让 山 影 这 个 “神秘 的 
组 织 * 浮 出 水 面 ， 广 大 吃 瓜 群众 纷纷 称赞 这 是 一 个 “民心 ”剧组 。 如 此 优盘 的 电视 
剧 ， 其 小 说 原 赤 必然 也 是 精彩 绝伦 。 在 此 ， 我 们 对 《下 志 榜 》 的 原音 做 了 一 侈 文 
本 分 析 ， 本 看 严肃 八卦 的 态度 从 科学 ”的 角度 看 小 说 。 小 说 是 以 刻画 人 物 为 中 心 ， 
通过 完整 的 故事 情 广 和 具体 的 环境 插 与 及 映 社会 生活 的 一 种 文学 体 乡 。 所 以 ， 人 
物 、 故 事情 市 和 环境 裤 称 为 小 说 的 三 要 系 。 接 下 来 束 通 过 文本 分 析 来 探索 《 形 乾 
榜 》 中 关于 小 说 三 要 素 的 蛛丝马迹 。 


人 物 形 象 


首先 解析 小 说 中 主要 人 物 的 动作 特征 。 近 取 了 东 角 色 诬 话 所 在 的 段落， 然后 
对 这 些 段 落 进 行 分 词 ， 从 而 得 到 分 词 后 的 词根 和 每 个 词根 的 词性 ， 最 后 按照 动词 
词根 频数 由 蜗 到 低 排 序 。 以 梅 长 办 和 飞 流 为 例 ， 图 5 ”1 显示 了 梅 长 办 与 飞 流 的 六 个 
局 频 动 作 。 从 中 可 以 看 出 ， 梅 宗主 低 眉 浅 突 、 语 声 淡 深 ， 一 副 局 深 如 训 、 运 宕 帷 
则 却 又 扳 独 条 窗 的 形象 跃然 纸 上 。 反 观 梅 长 办 的 贴 喘 小 护卫 飞 流 ， 全 书 言 语 不 
多 ， 但 爱 吃 爱 睡 的 形象 可 谓 是 深入 人 心 。 小 发 流 牌 痢 头 胜 独 眼 的 不 萌 样子 不 知 摄 
动 了 多 少 少女 心 。 








图 $-1 ”从 动作 描写 看 人 物 形象 


与 人 物 的 动作 特征 类 似 ， 下 和 面 来 看 看 人 物 的 语言 特征 。 图 5-2 显 示 了 清 王 最 第 
对 话 的 儿 个 人 物 ， 图 中 人 物 头 像 越 大 ， 对 话 次 数 越 多 。 可 以 看 到 ， 靖 王 最 向 与 梅 
长 办 、 染 第 和 溃 王 对 话 。 故 事 初期 ， 由 于 梅 长 办 辅 伍 靖 王 进行 星 位 之 争 ， 因 此 涌 
王 常 与 梅 长 苏 对话 。 故 事后 期 ， 由 于 闭 王 、 林 殊 二 人 相 认 ， 发 小 情 深 ， 因 此 对 话 
依旧 频 过 。 但 由 于 权力 斗争 ， 靖 王 害 要 周 庶 在 梁 芝 与 党 王 之 则 ， 因 此 靖 王 与 染 
蒂 、 誉 干 的 对 话 也 碳 多 。 





图 5-2 ”各 角色 最 第 与 谁 对 话 


了 此 


故事 





i Wy | / 
: 二 本 ea Pp ts 


4 pe 1 gp 专营 (4 中意 学 全 陵 | 
图 5-3” 词 云图 分 析 第 一 知情 市 


《 琅 开 榜 》 小 说 共 分 七 奋 ， 每 一 苍 究 范 讲 述 了 什么 样 的 情 市 呢 ? 利 用 文本 分 
析 ， 可 以 取出 东 一 苍 的 文本 内 容 ， 对 文本 进行 分 词 ， 取 出 词根 中 所 有 的 名 词 并 绘 
制 词 云 ， 词 根 在 该 耸 中 出 现 的 次 数 越 多 ， 词 云 中 该 词 越 大 。 此 处 取出 了 小 次 的 第 
一 谷 、 第 四 耸 和 第 七 耸 ， 来 分 机 《 限 亚 榜 》 改 事 的 开端 、 有 安 展 禹 测 。 


从 第 一 疮 词 云 来 看 〈 见 图 $-3) ， 出 场 最 多 的 人 物 是 梅 长 办 、 肃 景 容 、 于 豫 诗 
和 飞 流 。 第 一 卷 中 出 现 的 主要 事件 有 江 堪 梅 即 出 场 、 庆 国 公 和 案 、 初 至 金 取 等 。 但 
大 家 刚 悉 的 哺 王 、 ” 收 江 等 角色 在 哪里 呢 ? 别 痢 总 ， 第 一 和 耸 只 是 故事 的 开山 ， 录 上 容 
与 泡 津 将 梅 长 办 接 全 金陵 后， 故事 才刚 刚 开场 。 


第 四 苍 词 云 表 明 ( 见 图 5-4) ， 出 现 最 多 的 人 物 是 梅 长 炙 、 晴 王 、 家 区 、 梁 第 
和 和 夏 江 。 由 于 梅 长 苏 耸 入 关 都 风云 ， 星 于、 将 车、 禹 王 这 些 下 于 中 的 人 物 粉 黑 登 
场 ， 故 事 瞬 间 硼 烟 四 起 、 和 危机 四 伏 。 此 外 ， 越 来 越 多 性 格 各 弄 的 小 人 物 开始 丰 洱 
故事 情节 ， 例 如 词 云 儿 中 显示 的 卫 峥 、 毅 妃 、 黎 网 、 和 化 全 等 。 
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图 5$-5 ” 词 云 图 分 析 第 七 爷 情 攻 


第 七 区 达到 了 故事 的 噩 漳 ， 但 也 迅速 收尾 ， 最 终 曲 余人 敌 ， 令 人 嘱 唾 。 在 阳 
长 公主 市 看 谢 玉 手书 ， 提 议 重 审 旧 和 荣 。 将 晨 告 知 梅 长 办 生命 不 足 三 月 ， 梅 长 办 仍 
原 拆 甲 上 阵 ， 平 定 叛乱 。 这 些 主要 人 物 和 事件 都 在 词 云 中 体现 出 来 《上 匈 图 5$-S$) 。 


为 外 ， 还 统计 了 全 书 7 位 主角 的 出 场 频 数 。 从 柱状 图 来 看 ， 梅 长 办 绝对 是 第 一 
筋 主 。 有 和 意思 的 是 ， 作 为 《 环 于 榜 》 唯 一 女 主角 的 锡 凰 ， 出 场 频 数 也 抽 于 6 个 男性 
角色 之 后 〈 见 图 5-6) 。 难 怪 有 网 友 戏 称 ， 蜗 凰 绝对 是 史上 最 恋 众 的 女 主 角 ， 没 有 
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梅 长 苏 景 下 。 景 窒 誉 王 飞 流 蒙 挚 霓 凰 


图 5-6 主要 角色 出 场 频数 
说 明 : 对 小 说 全 7 卷 文 本 进行 分 词 ， 用 小 说 中 主角 名 字 出 现 的 次 数 为 指标 衡量 主角 
出 场 频数 。 此 处 需要 对 应 一 个 人 物 的 多 个 称呼 。 例 如 ， 梅 长 苏 、 林 殊 、 欢 哲 、 小 
殊 、 宗 主 、 江 左 梅 郎 等 称呼 均 为 同一 人 物 ， 应 该 合 j 


值得 注意 的 是 ， 小 说 中 各 角色 的 戏份 是 否 和 电视 剧 中 的 一 致 呢 ? 为 此 ， 绘 制 
了 主要 角色 出 场 密度 图 〈 见 图 5-7) 。 从 图 5-7 可 以 看 出 ， 作 者 对 梅 长 办 的 看 誉 比较 
均 义 ， 但 对 靖 王 和 霓 凰 的 安排 却 差异 明显 。 小 说 前 段 需 凰 与 梅 长 苏 相 认 ， 赵 凰 出 
场 较 多 ， 但 故事 中 途 染 痪 派 禹 寓 凰 返回 云南 ， 壳 凰 在 金陵 的 戏份 减少 。 此 外 ， 梅 
长 办 选择 辅 伍 靖 王 弄 景 下 ， 靖 王公 入 权力 斗争 ， 因 此 靖 王 出 场 浙 潮 增 多 。 这 样 的 
角色 戏份 安排 与 大 家 在 电视 剧 中 看 到 的 是 一 致 的 。 
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图 5-7 主要 角色 出 场 密 扩 图 
SP EE I 
为 密度 估计 。 


《 表 球 榜 》 中 梅 长 办 粉 丝 众 多 。 太 子 、 谷 王 争 相 抢 著 麒 麟 才子 ， 靖 王 、 静 如 
可 谓 是 林 殊 的 死 忠 粉 ， 飞 流 、 商 晨 和 去 鸡 绝 对 算是 梅 长 共 后 援 会 的 中 坚 力量 。 这 
坚 角 色 中 ， 守 葛 谁 才 是 区 哥哥 的 心头 内 呢 ? 下 面 来 一 个 杀 密 度 大 检验 。 用 各 角色 
与 梅 长 办 出 现在 同一 目 然 段 的 次 数 作为 亲密 度 的 衡量 指标 。 从 图 5-8 可 以 看 出 ， 少 
王 苛 景 下 不 愧 是 第 一 发 小 ， 绝 对 是 宗主 心 尖 尖 上 的 人 儿 。 但 我 们 采 萌 的 贴 号 小 护 
卫 飞 流 也 坚 个 进 色 ， 粉 丝 团 地 位 仅 钦 于 景 歼 。 


景 政 虽 然 一 直 是 梅 长 办 的 “心头 肉 ?， 但 梅 长 办 一 直 对 景 下 隐瞒 吴 份 ， 全 书 景 菊 
对 梅 长 办 的 称 明 变 化 正 换 示 了 景 正 与 梅 长 办 相 认 的 虚心 故事 。 故 事 之 急 ， 梅 长 办 
以 苏 敬 身份 目 届 ， 和 辅佐 景 严 。 景 玉 也 将 办 哲 当 作 一 个 不 明 原 因 吏 一 心 扶持 他 的 诉 
证。 故事 后 期 ， 景 歼 得 知 办 稍 便 是 林 殊 ， 因 此 第 称呼 其 为 小 殊 。 但 从 人 物 出 场 密 
及 图 可 以 看 出 〈( 见 图 5-9〉 ， 共 和 匈 生 和 小 殊 出 现 的 锋 率 兰 不 多 。 这 是 因 为 二 人 半 葛 
生 共 谋 大 事 的 地 下 关系 ， 所 以 合 面 上 还 得 章 称 一 句 苏 先 生 。 好 一 出 海 伏 大 戏 啊 ! 


飞 流 ” 景 守 。” 景 严 ” 蒙 执 ” 才 凰 ” 誉 王 
梅 长 苏 粉 丝 团 
图 5-8 ”人 物 杀 密 虑 
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环境 描写 


分 析 完 人 物 形象 和 故事 情 条， 再 来 看 一 下 小 说 中 对 主要 环境 场所 的 搬 写 。 通 
过 人 物 活动 的 地 后 ， 是 侍 可 以 对 故事 迟 市 的 友 展 做 出 一 些 推 抽 呢 ? 通过 对 文中 出 
现 的 地 点 进行 同 义 合 并 和 频数 统计 发 现 〔( 见 图 5-10〉 ， 人 金陵 ( 泵 城 ) 出 现 的 次 数 最 
多 ， 毕 葛 是 小 说 的 大 背景 ; 第 二 是 地 道 ， 这 是 梅 长 办 和 痛 王 丙 讨 大 事 的 秘密 场 
所 ; 第 三 是 巷 镜 司 ， 这 也 是 一 个 与 主角 们 爱 恨 迟 仇 纠 询 很 深 的 地 方 。 同 时 ， 还 友 
现 症 王府 的 出 现 次 数 大 于 誉 王府 ， 看 来 靖 王 才 是 作者 的 “ 杀 儿 子 ” 啊 ! 





图 $-10 ”地 点 频数 


各 卷 中 誉 王府 和 靖 王 府 出 现 频率 
0.007% 9 
誉 王府 只 “WS . 
: 口 靖 王 府 1 、 pp 
0.005% / 


0.004% 


0.002% 


























第 一 卷 第 二 卷 第 三 卷 第 四 卷 第 五 卷 第 六 卷 第 七 卷 


图 5-11 地 后 频率 与 小 说 友 展 (党 王府 和 靖 王 奉 ) 





图 5$-12 ”地 后 频 束 与 小 说 发 展 ( 地 道 ) 


接 下 来 挑选 了 几 个 有 代表 性 的 地 点 来 进行 分 析 。 首 先 ， 统 计 各 卷 中 请 王府 和 
誉 王府 的 情况 ， 有 意思 的 现象 出 现 了 《〈 见 图 $-11) : 在 第 一 卷 靖 王府 根本 都 没有 出 
现 ， 到 了 第 二 、 三 卷 誉 王府 和 靖 王府 出 现 频率 不 相 上 下 ， 到 第 四 卷 两 者 就 走向 稚 
然 不 同 的 方向 了 。 看 来 完 出 现 的 也 不 一 定 是 真爱 ! 靖 王府 最 终 后来 者 居 上 ， 成 为 
了 大 赢家 。 


刚刚 说 到 地 道 非 第 重要 ， 再 来 看 看 地 道 在 各 孽 中 出 现 频 京 的 变化 〔 见 图 5- 
12) 。 这 个 地 方 有 扣 像 一 个 温度 计 ， 反 映 了 梅 长 炙 和 靖 王 关系 的 热度 。 地 道 在 第 
二 卷 出 现 的 次 数 相 比 第 一 耸 和 第 三 从 有 显 若 的 所 局， 不 难 想象 这 正 是 梅 靖 二 人 
的 “蜜月 期 *， 而 第 五 巷 地 过 出 现 的 次 数 突然 跌 到 了 合 确 ， ”这 是 为 什么 呢 ? 回 顾 小 
说 的 发 展 ， 我 们 发 现 原 来 是 两 人 亲 了 别扭 ! 靖 王 和 梅 长 办 吵架 了 ! 


同时 ， 对 地 道 出 现 的 段落 进行 词 频 统计 〈 见 图 $-13) ， 发 现 “陛下 "出场 频率 最 
高 。 震 惊 ! 表 哥 和 表 弟 在 地 底 秘密 约会 竟 与 舅 田 有 关 ! 当然 ， 最 伤心 的 人 还 是 梅 
长 苏 ， 因 为 靖 王 不 仅 在 地 道 跟 他 曾 别扭 ， 还 不 跟 他 谈论 风月 ， 只 喜欢 跟 他 在 地 道 
讨论 公事 ! 高 频 词 还 包括 “事情 ”案子 ”发 现 "等 。 





图 5-13 ”出 现 地 道 段落 的 词 频 统计 


接 下 来 看 看 各 位 女 女 的 戏份 ( 见 图 5-14) 。 各 宫 在 第 二 卷 开 始 了 自己 的 表演 。 
其 中 ， 靖 王 的 苹 亲 前 妃 女 女 所 在 的 正 获 是 干 呼 万 唤 始 出 来 ， 犹 把 花 芭 半 训 而 ， 在 
第 五 谷 才 出 现 。 但 是 ， 这 不 影响 尹 娟 来 运 的 正 亚 定 女 女 强 势 超 越 正 阳 富 旦 后 的 戏 
份 ， 部 快 赶 上 最 有 存在 感 的 申 仁 号 越 员 妃 尹 女 了 。 贯 妃 尹 女 戏 份 这 么 多 ， 看 来 十 
梅 靖 二 人 平反 路 上 一 个 非常 大 的 障碍 。 


以 上 就 是 利用 文本 分 析 对 《下 忆 榜 》 原 著 所 做 的 一 个 比较 人 简单、 初级 的 分 
析 。 我 们 试图 理解 小 说 中 作者 是 如 何 对 人 物 进 行 刻画 的 ， 故 事情 市 十 


如 何 肥 展 的 ， 以 及 环 卉 手写 古 如 何 烘托 情 市 肥 展 的 。 其 实 ， 文 学 的 闫 义 旦 是 
我 们 三 诗 两 语 能 塌 尽 的 。 在 这 里 用 原 半 中 赞美 梅 长 办 的 一 自 评 来 结束 我 们 的 分 
析 : 





图 5$-14 ”地 操 频 率 与 小 说 发 展 ( 正 吕 尹 女 们 ) 
遥 映 人 间 冰 雪 样 ， 
蜡 香 幽 浮 曲 临 江 ， 
过 识 天 下 天 雄 路 ， 
俯首 江 左 有 梅 郎 。 


温 必 提醒 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 下 于 榜 ”， 听 毅 静 彰 
频 ! 


中 文 文本 一 一 从 用 户 评 论 看 产品 改善 


了 晨 看 互联 网 的 妥 展 ， 用 户 评论 出 现在 了 生活 的 方方面面 ， 我 们 平时 购物 、 吃 
饭 、 看 电影 、 旅 洲 ， 样 样 痢 可 以 拿 来 点 评 一 番 。 对 于 消费 者 而 言 ， 书 写 用 户 评论 
皇 他 们 分 孚 经 历 、 抒 用 感受 的 途径 。 对 于 商家 而 言 ， 用 户 评 论 能 产生 什么 价值 
呢 ? 下 面 ， 以 手机 行业 为 育 景 来 谈 谈 如 何 利用 用 户 评 论 进行 产品 改善 。 


手机 行业 友 展 现状 : 如 何在 油 烈 的 竞争 中 突出 重围 ? 


工信部 发 布 的 信息 显示 ，2016 年 我 国 国 产 手 机 的 出 货 量 达到 了 5.6 亿 部 ， 同 比 
增长 8%。 这 说 明 手 机 市 场 具有 巨大 的 市 场 容量 ， 并 存在 进一步 的 拓展 空间 。 巨 大 
的 市 场 需求 使 手机 行业 变 成 了 一 芙 家 家 咒 钢 的 肥 肉 。 


近年 来 ， 除 了 老牌 手机 广 商 在 不 断 推 陈 出 新 外 ， 各 种 狐 兴 品牌 也 层出不穷 。 
众多 晤 牌 混战 ， 让 手机 市 场 的 竞争 更 加 白热化 。 在 残酷 的 市 场 苋 搜 中 ， 谁 确 地 对 
接 用 户 需 求 ， 改 善 产 品 ， 网 受到 了 各 于 机 广 商 的 关注 。 从 早期 头 侮 于 机 的 隐私 你 
护 功能 、 芋 未 于 机 的 大 面积 触 拒 屏 议 计 ， 再 到 各 种 独 具 特 色 的 国内 手机 ， 如 主 
打 “ 首 乐 手机 ”的 vivo、“ 充 电 五 分 钟 ， 通 话 2 小 时 ”的 OPPO 等 ， 整 个 手机 行业 一 和 朋 在 
天 开化 的 道路 上 探索 。 


如 何 从 用 户 需 求 的 角度 找到 改善 产品 的 突破 口 ? 丰 军 的 线 上 销售 渠道 以 及 大 
量 的 用 户 评论 为 我 们 进行 探索 捉 供 了 可 能 。 这 上 皇 用 户 反 馈 不 仅 衣 达 了 消费 痢 对 于 
机 的 情感 倾 同 ， 还 详细 记录 了 手机 到 撒 好 在 哪里 ， 装 在 哪里 ， 而 这 学 正 是 商家 改 
普 产 品 设计 的 关键 。 因 此 ， 我 们 希望 从 大 量 的 评论 信息 中 挖掘 用 户 对 于 机 的 关注 
氮 ， 并 探索 哪些 关注 点 可 以 芮 正 影响 用 户 对 于 机 的 评价 ， 从 而 为 厂商 进一步 改善 
产品 提供 思路 。 





电汇 还 是 比较 耐用 ， 

一 一 一 一 一 一 一 高 的 此 上 各 就 七 用 户 棍 尽 
手机 整体 不错 ,就 :| 使 用 感 尝 
足 包 装 术 简 单 了 ， 





es 


客户 需求 ,改善 






用 户 友 借 展 现 了 | 
对 于 才 关 注 点 





产品 补 服 务 





图 5-15 “如 何 挖掘 用 户 需求 ， 改 善 产品 
手机 ， 几 家 欢乐 几 家 秋 





我 们 使 用 的 数据 是 截至 2016 年 11 月 31 日 ， 某 知名 电 疝 在 其 日 癌 平 台 上 销售 的 
手机 数据 〈 共 297 部 〉 以 及 能 收集 到 的 每 计 手 机 的 全 部 用 户 评 论 数 据 ( 共 216754 
条 ) 。 手 机 数据 主要 包括 人 价格、 品牌 ， 屏 舌 尺 寸 、 摄 像 头像 素 等 性 能 指标 ， 日 宫 
平台 的 促销 情况 ， 手 机 的 总 评论 数 、 好 评 数 、 中 评 数 和 差 评 数 。 用 户 评 论 数据 主 
要 包括 用 尸 对 该 球 手 机 的 打分 、 购 买 时 间 和 具体 的 评论 内 容 。 加 入 会 员 人 和 做 信 
whair004 


研究 的 因 变 量 是 手机 的 好 评 紊 ( 好 评 数 / 总 评论 数 ) ， 图 5-1 6 展示 了 所 有 手 
机 的 对 数 好 评 率 的 分 布 情况 。 可 以 发 现 ， 不 同 手机 的 好 评 鞭 差异 非常 大 ， 有 的 手 
机 好 评 率 能 达到 100%， 有 的 却 上 只 有 67%。 
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图 5-16 ”好 评 率 
用 户 评 论 的 文本 分 析 : 寻找 热 评 词 


从 内 容 的 角度 去 探究 手机 好 评 率 参差 不 齐 的 原因 。 在 对 全 部 手机 评论 ”进行 分 
词 、 去 停 用 词 、 按 词性 筛选 等 一 系列 文本 处 理 后 ， 对 好 评 〈 评 分 为 4，5) 和 差 评 
(评分 为 1，2) 中 出 现 频数 最 高 的 前 100 个 词 绘制 了 词 云图 〈 见 图 5-17) 。 这 些 高 
频 词 看 起 来 杂乱 无 章 ， 但 还 是 可 以 从 中 发 现 很 多 亮点 。 例 如 ， 在 好 评 词 中 大 家 提 
到 了 “电池 ”屏幕 “物流 "， 在 差 评 词 中 大 家 提 到 了 “客服 "， 也 提 到 了 “屏幕 "和 “ 电 
池 "。 是 不 是 这 些 方面 让 大 家 对 手机 又 爱 又 恨 呢 ? 
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图 5-17 评论 中 谈论 的 热 词 





屏 之 、 电 池 、 系 

统 、 性 价 比 、 质 

量 、 外 观 、 功 能 ， 

运行 充电、 声 

音 、 耳 机 、 信 号 、 

开机 、 软 件 、 拍 
日 二 





图 5-18 ”提取 热 评 词 
为 了 深入 探索 ， 首 先 从 好 评 与 兰 评 的 高 闫 词 中 提取 了 “服务 特征 ?和 “手机 特 
征 ? 两 类 热 评 词 ， 然 后 用 两 样本 ! 检验 对 每 个 热 评 词 进行 初步 判断。 如 果 出 现 该 热 
评 词 的 评论 得 分 与 不 出 现 的 评论 得 分 有 显著 差异 ， 束 保留 该 热 评 词 。 最 后 ， 对 通 
过 t 检验 的 每 个 热 评 词 ， 计 算 其 在 一 部 手机 的 所 有 评论 中 出 现 的 频 鞭 〈 也 了 吏 是 包含 
该 热 评 词 的 评论 数 占 该 部 手机 总 评论 数 的 比例 ) ， 然 后 将 该 比例 作为 手机 好 评 率 
的 一 个 新 的 解释 变量 。 
回归 建 模 : 寻找 显著 影 啊 好 评 率 的 热 评 词 


以 手机 为 分 析 单位 ， 使 用 线性 回归 模型 来 探索 每 个 热 评 词 出 现 的 频率 
响 手机 的 好 评 率 〈 见 图 $-19) 。 回 归 模 型 中 ， 使 用 好 评 率 的 对 数 为 因 变量 ， 并 


月 不 日 
征 合 显 


-二 司 / 
省 慰 


同时 控制 每 部 手机 的 价格 、 品 牌 、 屏 者 尺 寸 等 参数 指标 ， 最 后 使 用 BIC 进 行 变量 选 
择 。 被 选 出 来 的 热 评 词 有 四 个 : 物流、 客服 、 电 池 和 和 运行。 其中， 物流 是 正 显 车 
的 ， 说 明 物 流 在 手机 评论 中 出 现 的 次 数 越 多 ， 手 机 的 好 评 率 越 遍 ; 客服、 电池 和 和 
运行 都 是 负 显 车 的 ， 说 明 这 三 个 词 出 现 的 次 数 越 多 ， 手 机 的 好 评 率 反而 越 低 。 
估计 值 卫 值 
截 忠 -0.158 0.000 
改 格 0.004 0.000 
华为 0029 0.000 
OPPO 0.023 0.022 
VIVO 0.024 0.010 
屏 项 尺寸 0.015 0.001 
平均 字符 数 0001 0.000 
物流 0.137 QO.000 
宫 服 -0313 ”0.000 
电池 0.161 ”0.000 
运行 0192 0.003 




















调整 后 的 RR 


图 5-19 ”回归 结果 (用 BIC 选 择 ) 
深 控 热 评 词 : 寻找 细致 天 注 点 


为 了 挖 据 每 个 热 评 词 育 后 的 故事 ， 继 续 使 用 文本 分 析 的 方法 ， 寻 找 每 个 热 评 
词 背 后 其 体 的 关注 操 ， 并 探索 每 个 关注 点 的 正 儿 作用 。 以 电池 为 例 ， 找 出 的 天 注 
态 有 : 容量 大 小 、 续 航 能 力 、 充 电 情 况 、 更 换 电 池 情 况 以 及 是 否 会 发 热 。 图 5-20 左 
边 的 柱状 图 给 出 了 包含 每 个 关注 点 的 评论 在 所 有 所 到 电池 的 评论 中 所 占 的 比例 。 
可 以 看 到 占 比 最 高 的 是 容量 和 续航 。 


进一步 分 机 ， 通 过 计算 包 侣 各 个 关注 点 的 评论 的 平均 分 ， 并 将 它们 和 行业 均 
值 〈 也 就 是 所 有 手机 评论 的 平均 分 ) 进 行 对 比 ， 可 以 看 到 各 个 关注 点 扮演 的 角色 
征 " 好 孩子 "还 是 “ 坏 孩 子 "。 疼 5-20 右 边 的 柱状 图 表明 ， 所 有 电池 关注 点 的 得 分 都 低 
于 行业 均值 ， 但 是 各 个 关 广 点 又 有 差异 。 同 时 包含 电池 和 容量 的 评论 的 平均 分 与 
行业 均值 相 大 不 大 ， 但 是 其 他 儿 项 部 明显 低 于 行业 均值 ， 其 中 尤 以 同时 包括 电池 
和 必 热 最 其 。 这 说 明 大 家 对 电池 方面 的 坏 印 象 与 其 容量 大 小 关系 个 大 ， 而 十 源 日 
其 他 几 个 关注 点 。 


各 个 关注 点 在 电池 评论 中 的 占 比 包 合 各 个 关注 点 的 评论 平均 分 





行业 均值 


电击 + 窒 量 ”电光 + 坟 豚 ”和 谍 李 +: 亮 电 ” 电 油 :+ 更 搞 ”电池 + 震 抽 


平均 分 


奉 南 袍 评 罕 中 的 占 比 








A 充电 更 搞 灿 执 


图 5-20 ”关于 电池 
实际 应 用 场景 : 手机 男 像 


最 后 ， 根 据 前 文 建立 的 得 分 体系 ， 可 以 为 每 部 手机 进行 整体 画像 〈 见 图 $- 
21) ， 判 断 它 在 物流 、 客 服 、 电 池 、 运 行 四 个 方面 的 整体 表现 。 例 如 ， 通 过 与 行 
业 均 值 对 比 ， 发 现 X 手 机 在 电池 和 客服 方面 表现 不 好 ， 而 N 手 机 在 电池 方面 表现 非 
第 突出 。 男 外 ， 抓 住 每 个 方面 ， 可 以 更 细致 地 给 出 手机 在 该 热 评 词 各 个 关注 点 的 
细节 画像 ， 从 中 找 出 手机 的 具体 改进 方 问 。 


总 结 一 下 ， 通 过 分 析 手 机 的 用 尸 评论 信息 ， 找 到 了 影响 于 机 好 评 率 的 ”关键 
点 ， 并 设计 了 一 父 具 体 的 评价 体系 。 将 该 体系 用 于 产品 画像 有 助 于 快速 得 找 产品 
人 不定 ， 确 定 改进 方 癌 。 


一 行业 标准 一 Xx 手机 一 手机 


客服 





电池 
图 5-21 ”整体 画像 


温 避 提醒 : 进入 狗熊 会 公众 号 (CluBear) 输入 文学 :“ 手 机 ”， 听 灰 灰 音频 ! 


中 文 文本 一 一 空气 阐 化 郁 的 好 评 率 影 啊 因 妹 分 析 


“中 文 文本 从 用 户 评论 看 产品 改善 ”的 案例 提出 了 一 套 完 整 的 从 用 户 评论 
寻找 产品 改进 方 同 的 机 制 。 本 案例 试图 将 这 套 机 制 应 用 于 空气 神化 堪 ， 看 看 哪些 
因 系 影响 空气 阐 化 左 的 好 评 率 。 


务 寻 频 友 扣 燃 了 空气 浪 化 帮 市 场 


近年 来 ， 随 着 雾 儿 天气 的 频繁 出 现 ， 空 气 净 化 器 逐渐 走 进 了 家 家 户 “” 户 ， 更 是 
在 整体 疲软 的 家 电 市 场 上 犹如 一 瑟 <“ 黑马 ?”， 销 售 量 和 销售 额 都 呈现 出 爆发 式 增长 。 
雾 才 天 的 出 现 点 燃 了 我 国 的 空气 净化 器 市 场 。 整 个 空气 净化 器 市 场 经历 了 2013 年 
的 爆发 式 增长 、2014 年 的 稳步 上 升 、2015 年 的 增长 放 缓 ， 直 至 2016 年 3 月 ， 新 国标 
0 并 将 容 气 净化 如 的 销售 情况 推 同 男 一 个 局 峰 
( 见 图 5 2 2) 。 











施 , 市场 想 于 规范 ,净化 器 等 此 
纯 末 |] 这 刻 蚌 全 本 富生 村 上 和 莘 上 
下 湿 道 同步 增长 
示 正 式 实 施 ,市 
去 询 场 在 规范 中 稳步 发 展 
站 4 
| 2013 015 | 2017 
<012 2014 20168 
宪 气 争 化 加 市 场 火爆 人 
增长 
销量 妇 的 2 可 万 苦 关上 长 zl 
5% ; 零售 童 咯 去 到 了 上 大 的 26 人 时 
同比 增长 达 1 示 





图 5-22 ”空气 净化 嚣 发展 史 


展望 2017 年 及 未 来 儿 年 ， 随 看 务 狂 天气 的 频 勾 出 现 以 及 人 们 对 空气 净化 夫 认 
识 的 加 深 ， 衬 气 禅 化 益 市 场 仍然 有 看 巨大 的 及 展 光 力 。 与 此 同时 ， 线 上 销售 快速 
是 起 ， 国 内 品牌 逐渐 壮大 ， 这 在 丰 遇 市 场 的 同时 也 加 剧 了 市 场 郭 委 的 激烈 程度 。 
如 何在 众多 品牌 中 独树一帜 ， 让 用 户 青 睐 有 加 呢 ? 下 面 从 空气 浏 化 禹 的 性 能 指标 
和 用 户 评论 两 方面 来 探索 哪 芋 因素 能 显 考 影响 空气 净化 兰 的 好 评 率 ， 从 而 为 片 商 
进一步 改善 产品 设计 近 供 思路 。 


数据 介绍 
本 案例 的 数据 是 截至 2017 年 1 月 31 日 ， 某 知名 电 商 在 其 自 营 平台 上 销售 的 空气 


净化 器 数据 〈 共 101 部 ) 以 及 能 收集 到 的 每 台 净 化 器 的 全 部 用 户 评论 数据 〈 共 
37419 条 ) 。 图 5-23 列 出 了 两 个 数据 中 包含 的 变量 名 称 和 舍 义 。 








评论 草 据 他 格 数 千 型: i 99 
* TCR 促销 信息 字符 型 : 有 .无 
| 国 |LLLL 国 ， - | 品 息 字符 型 ; 共 人 6 个 品牌 
PT 新 国标 : a 和 数值 型 , 12~539 ， 
= 30~910 
; 评论 对 应 的 兆 北 二 :二 加 5 字符 型 : FI~F4 ，P1<P4 
导 呈 号 z 物 CCM 站 
一 新 国标 : 气态 、 国 二 污 染 字符 型 : 言 效 级 、 宫 履 级 、 
i 物 浆 尼 训 次 未 知 


物 学 贡 玫 牙 
| 数值 型 ; 30-77 
评论 并 守 于 fj 十 : ET jl 字 和 宕 型 : 过 泪 . 分 解 、 吸 
= i - 净化 方式 附 ， 未 知 
Ee 胜 戏 模式 、 字符 型 : 二 不 支持 、 
A 和 中 评 数值 型 : 1-79 463 





图 5-23 ”数据 变量 信息 表 
好 评 率 分 布 情 况 


因 变 量 是 每 人 台 衬 气 阐 化 右 的 好 评 率 (好 许 红 / 局 评 仑 数 ) ， 图 5-24 展 示 了 所 有 

气 准 化 硕 好 评 率 的 分 布 情况 。 可 以 看 出 ， 绝 大 部 分 空气 阐 化 右 的 好 评 率 都 超过 
了 90%， 但 是 也 有 个 列 空 气 兆 化 帮 好 评 率 很 低 ， 仪 有 80%。 哪 些 因 系 导 敏 了 空气 兆 
化 可 的 好 评 率 参 左 不 并 呢 ? 下 向 未 一 探究 。 





4 好 评 率 -好评 数 /总 评论 数 


甸 好 评 率 普 遍 较 高 
w 起: 97.12% 
* 最 大 恒 : 100% 
vy” 是 小 值 “803% 





0 
好 侠 举 


图 5-24 ”好 评 率 


空气 准 化 大 的 配置 情况 


先 从 新 国标 入 手 来 看 市 场 上 空气 净化 器 的 配置 情况 。2016 年 3 月 ， 空 气 净 化 器 
的 新 国标 正式 实施 ， 这 标志 着 我 国 空 气 净化 器 市 场 变 得 更 加 规范 成 熟 。 新 国标 的 
意义 在 于 它 对 空气 净化 器 的 净化 性 能 (CADR) 、 滤 网 寿命 〈CCM) 、 能 效 等 级 和 
噪音 都 进行 了 更 为 明确 的 规定 。 这 里 仅 重 点 解释 一 下 净化 性 能 指标 CADR。CADR 
表示 洁净 空气 输出 量 ， 即 空气 净化 器 每 运行 一 小 时 为 室内 提供 的 洁净 空气 量 。 衬 
气 净化 右 的 性 能 好 坏 主 要 由 CADR 值 决定 ，CADR 值 越 大 ， 净 化 容 气 的 效率 越 局 。 
图 5-25 展 示 了 数据 中 全 部 容 气 净化 右 的 气态 CADR 值 和 国 态 CADR 值 的 分 布 情况 ， 
可 以 看 到 ， 该 目 营 平台 上 的 空气 净化 器 的 气态 CADR 值 还 普遍 处 于 较 低 的 水 平 ， 绝 
大 多 数 集中 在 0~~100 之 间 ; 固态 CADR 值 的 表现 稍 好 一 些 ， 绝 大 多 数 集 中 在 300 一 
500 之 间 ; 仅 有 个 别 衬 气 净 化 髓 的 气态 CADR 值 和 固态 CADR 值 很 高 。 





过 志 CADR Tf 甲醛 等 针 
种 有 击 气 体 】 


CADR ,洁净 室 气 输出 
对 [单位 : 可 方 米 中 1 
， 表 不 守 书 争 休 器 繁 运行 一 
小 时 为 室内 查 亿 的 洁净 空 
气量 .对 ADR 值 越 大 ,净化 


_ 空 气 的 效 李 越 高 ， 
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儿 $-2$ ”新 国标 之 CADR 


除了 狐 国 祭 ， 衬 气 阐 化 左 还 有 很 多 辅助 指标 。 图 $-26 展 示 了 空气 净化 大 在 净化 
方式 、 睡 眠 模式 、 滤 网 更 新 提醒 功能 和 定时 模式 四 个 指标 上 的 分 布 情况 。 从 图 5-26 
可 以 看 人 到， 大 部 分 空气 净化 帮 部 采用 过 渡 式 的 滔 化 方式 ， 并 且 文 持 睡 虑 模式 、 定 
时 模式 ， 能 进行 小 网 更 新 近 醒 。 
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图 5-26 ”其 他 指标 


探索 用 户 评论 


对 全 部 用 户 评论 进行 
立 本 分 析 





图 5-27 ”用户 天 注 的 方面 的 词 云 图 


除了 空气 净化 器 的 具体 配置 情况 外 ， 再 从 用 户 评 论 的 角度 出 发 ， 看 看 消费 者 
关注 宇 气 净化 器 的 哪些 方面 。 在 对 用 户 评论 进行 了 分 词 、 去 停 用 词 、 按 词性 科 选 
等 一 系列 文本 处 理 后 ， 根 据 全 部 用 户 评论 中 出 现 频 数 最 高 的 前 100 个 词 绘制 了 词 云 
图 ( 见 图 5-27) 。 这 些 高 频 词 看 起 来 傈 乱 无 草 ， 但 还 是 从 中 发 现 了 很 多 亮点 ， 

如 “声音” 外观“ 送 货 * 显 示 ” 等 描述 服务 特征 或 净化 器 特征 的 词 。 但 是 否 正 是 这 些 
大 家 普 裔 关注 的 地 方 影响 了 对 空气 净化 器 的 评价 呢 ? 


为 了 深入 探索 ， 首 先 从 高 频 词 中 提取 了 一 系列 描述 “服务 特征 ”和 “净化 器 特 
征 ” 的 热 评 词 ， 然 后 用 两 样本 : ”检验 对 每 个 热 评 词 进行 初步 判断 。 如 果 出 现 该 热 评 


词 的 评论 得 分 与 不 出 现 的 评论 得 分 有 显 若 送 开 ， 就 你 留 访 热 评 词 。 最 后 ， 为 每 一 
个 热 评 词 计算 其 在 一 台 空 气 净 化 器 的 所 有 评论 中 出 现 的 频率 ， 作 为 该 热 评 词 在 这 
台 兆 化 器 上 的 表现 ( 见 图 5-28) 。 





4 海 化 器 特征 
声言 外 观 显示 功能 
模式 操作 性 价 比 这 
度 加 湿 睡 眼 


图 $-28 ”提取 热 评 词 


初步 建立 回归 模型 


以 罕 气 济 化 占 为 分 析 单 位 ， 使 用 线性 回归 模型 来 探索 空气 滔 化 费 的 配置 情 
况 、 访 电 丙 六 台 的 促销 迟 况 ， 以 及 每 个 热 评 词 出 现 的 频率 是 奋 显 者 影响 空气 济 化 
途 鸭 好 评 率 。 在 回归 模型 中 ， 使 用 BIC 进 行 变 量 选择 ， 结 果 如 图 5-29 所 示 。 空 气 兆 
化 右 的 价格 、 蝇 有 牌 、 固 态 污染 物 CADR 值 以 及 气态 污染 物 净 化 能 效 痢 能 显 普 影响 净 
化 胡 的 好 评 率 。 此 外 ， 选 出 了 四 个 显 首 影响 浪人 化 桌 好 评 率 的 热 评 词 ， 分 列 为 过 
货 、 外 观 、 功 能 和 性 价 比 。 蕊 能 、 外 观 在 评论 中 出 现 的 频率 越 局 ， 详 化 融 的 好 评 
率 越 局 ， 说 明 这 两 点 是 净化 融 的 加 分 项 : 送 货 、 性 价 比 在 评论 中 出 现 的 频 计 越 
局， 烨 化 磊 的 好 评 率 反而 越 低 ， 说 明 这 是 净化 融 的 减 分 项 。 








净化 刁 热 评 间 频率 





图 5-29 ”初步 建 并 日 归 模 型 
深 挖 热 评 词 


为 了 深入 探索 热 评 词 对 空气 净化 器 好 评 率 的 影响 ， 对 每 个 显著 的 热 评 词 进行 
深 控 ， 找 出 它 背 后 县 体 的 关注 点 ， 并 探索 每 个 关注 点 的 正 负 作用 。 


以 功能 为 例 ， 找 出 的 关注 点 有 : 净化 功能 、 加 湿 功 能 、 操 作 情 况 、 功 能 古人 奋 
齐全 、 廊 首 模式 、 显 未 功能 和 睡 上 肪 模式 。 图 5-30 左 边 的 柱状 图 给 出 了 包含 每 个 关注 
扩 的 评论 在 所 有 提 a 到 功能 的 评论 中 所 占 的 比例 ， 其 中 占 比 最 融 的 古 兆 化 和 加 湿 功 
能 。 进 一 步 分 析 ， 统 计 了 包含 各 个 天 注 扣 的 评论 的 平均 分 ， 并 将 它们 和 行业 均值 
(也 束 是 所 有 净化 帮 评 论 的 平均 分 ) 进行 对 比 ， 从 中 吏 能 看 到 各 个 关注 点 扮 污 的 
角色 是 “好 孩子 "还 是 “ 坏 护 子 ”"。 图 $-30 右 按 的 柱状 图 展示 了 这 一 对 比 结 未 。 其 中 ， 
所 有 包含 功能 的 评论 平均 分 要 蜗 于 行业 均值 ， 但 不 同 关 注 点 的 情况 又 有 很 大 差 
寞 。 作 为 姜 化 带 最 主要 的 功能 ， 立 化 这 一 关注 点 表现 平平 ， 加 湿 、 庆 首 和 有 睡 虑 的 
表现 都 局 于 行业 均值 ， 但 显示 上 略 低 于 行业 均值 。 


此 外 ， 面 对 众多 关注 点 ， 还 布 望 找 出 哪些 关注 氮 是 最 重要 的 。 可 以 用 找 出 的 
所 有 关注 点 营 代 之 前 显 才 的 四 个 热 评 词 ， 章 新 建立 回归 模型 进行 探 ” 究 。 人 研究 友 
现 ， 速 度 、 包 泪 、 做 工 、 兆 化 、 操 作 、 谢 首 和 性 能 这 儿 个 关注 点 是 用 户 最 为 注音 
的 ， 能 显 普 影 啊 净 化 右 的 好 评 紊 。 同 时 ， 相 比 用 热 评 词 进行 回归 的 结 来 ， 模 型 的 
调整 后 的 R2 有 所 提高 ， 说 明细 分 为 天 注 点 后 ， 模 型 具有 喝 好 的 解释 效 琳 。 


在 功能 评论 中 的 鼎 比 各 关 福 点 平均 寻 。 行业 均 值 
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图 5-30” 热 评 词 : 功能 
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空气 净化 器 画像 


根据 前 文 建 立 的 得 分 体系 ， 可 以 为 每 台 阐 化 天 进行 整体 男 像 ， 判 断 它 在 这 
人 抽 、 外 观 、 功 能 和 性 价 比 四 个 方面 的 整体 表现 。 其 次 ， 对 于 每 个 热 评 词 ， 可 以 更 
细致 地 给 出 褒 化 厚 在 该 热 评 词 各 个 关注 氮 的 细 克 国 像 。 通 过 对 比 ， 为 每 台 疤 化 需 
找到 具体 的 改进 廊 同 。 以 空气 浪 化 如 A 为 例 ， 可 以 计算 它 包含 各 个 关注 点 的 评论 的 
平均 分 ， 并 将 其 与 包含 该 关注 点 的 所 有 评论 的 平均 分 进行 对 比 ， 从 而 给 出 A 的 细 市 
田 像 。 如 图 5-31 所 示 ， 空 气 姜 化 如 A 在 性 价 比 方面 表现 个 好， 主要 是 由 于 它 在 价 
位 、 性 能 和 耐用 性 上 表现 不 好 ， 而 在 适用 范围 和 品牌 上 表现 都 不 钳 。 


通过 这 和 套 评 价 体系 ， 可 以 为 每 侣 衬 气 准 化 闫 进行 整体 男 像 和 细节 国 像 ， 从 而 
有 针对 性 地 找到 产品 的 问题 所 在 ， 并 确定 未 来 的 改进 方 癌 。 


em 路 忻 ”一 净化 叶 上 








图 5-31 ”细节 画像 : 净化 占 A 


况 埠 近 根 : 进入 狗熊 会 公众 写 〈“CluBear) 输入 文子:“ 兆 化 带 ”， 听 灰 灰 音 
频 ! 


中 文 文本 一 一 数据 分 析 立 位 招聘 情况 的 影响 因 和 对 分 析 





除了 用 尸 评 论 ， 庆 品 介 绍 也 是 一 类 典型 的 文本 数据 。 本 有 条例 以 数据 分 析 岗 位 
的 招聘 情况 来 谈 一 谈 如 何 利 用 这 类 文本 数据 。 


研究 育 景 与 数据 介绍 


随 看 大 数据 时 代 的 到 来 ， 各 行 各 业 的 公司 部 开始 招聘 数据 分 析 类 人 才 。 投 吴 
于 数据 分 析 浪 漳 的 应 聘 者 需要 具备 哪些 姆 质 ? 企业 招聘 人 才 时 应 该 如 何 第 选 倍 
历 ? 如 何 设 定 新 资 ? 和 学 校 义 该 如 何 调 整 增 养 方 案 ， 才 能 使 学 生 更 好 地 适应 社会 的 
需求 ? 为 回答 这 些 问 题 ， 我 们 基于 2016 年 9 月 各 大 招聘 网 站 用 布 的 数据 分 析 立 位 招 
号 的 相关 信息 ， 使 用 统计 方法 探 完 数据 分 析 闵 位 的 招聘 情况 及 薪资 影响 因 系 ， 力 
求 儿 助 广大 求职 者 更 好 地 定位 目 己 、 选 择 合 适 的 工作 ， 企 业 招 到 满意 的 人 才 ， 学 
校 更 有 针对 性 地 培养 学 生 。 


数据 共 包含 7493 条 招聘 信息 ， 履 盖 北京 、 上 上海、 深圳、 山西、 陕西 以 及 河北 
六 省 市 ， 有 具体 摘 述 如 表 S$-1 所 示 。 


表 5-1 数 据 的 具体 持 述 











变量 名 称 
招聘 职位 下 
公司 名 称 


公司 有 所 在 地 


公司 类 别 


公司 规模 
公司 行业 类 别 
经 验 要 求 
学 爵 要 求 


招聘 人 数 
最 低 薪资 
最 高 薪资 
平均 薪资 


因 位 描述 


软件 要 求 


数据 描述 

字符 型 变量 , 例如， 数据 分 析 员 、 战 略 分 析 经 
字符 型 变量 ， 例 如 ， 北京 中 航 讯 科 技 股 份 有 限 公 局 
定性 变 FE 量 ， 共 6 个 水 平 分别 为 陕西 、 山 西 、 河 北 、 北 京 、 上 海 、 
未 基 
定性 变量 ， 共 8 个 水 平 ， 分 别 为 民 稍 公司 、 上 市 公司 、 外 贫 、 国 企 、 
韭 党 利 机 构 、 合 资 、 人 | 
定性 变量 , 共 7 ns ppg ee 50 一 150 和信。151~500 
人 、501 一 1000 人 人 、1 001 ~ 5 000 人 5001~10 000 人 、 
10000 人 以 上 
定性 变量 ， 共 443 个 水 平 ， 例 如， 计算 机 服务 、 互 联网 /电子 商务 
效 但 型 变量 ， 取 值 花 围 , 0 一 10 年 
定性 变量 ， 共 ?个 水 平 ， 分别 为 巨 、 高 中 、 中 专 、 太 专 、 本 科 、 厢 
士 、 博 士 
数 但 型 变量 ， 取 值 范围 : 0~9 人 
数值 型 变量 ， 取 值 范围 1 500 一 200 000 元 /月 (存在 异常 值 ) 
数 伸 型 变量 ， 取 但 汇 围 ，] 500 一 59 999 Ny (存在 开 篆 但 ) 
(最 低 薪 资 十 最 局 新 贫 ) /2， 取 值 范围 ，1 500 一 400 000 元 /月 
字符 型 变量 es ei 例如 ， 针 对 海量 数据 进 
行 分 析 建 模 ， 控 气 数 据 潜在 价值 ， 掌 提 “定数 据 统计 及 分 析 工 具 ， 
熟练 运用 SPSS，SAS，R 等 数据 挖掘 工具 的 优先 等 
ee 共 12 个 水 平 ， 分 别 为 RR，SPSS，Exeel，python，MAT- 

，java，SQL，SAS，Stata，EViews，Spark，Hadoop 


通过 文本 分 析 提 取 解 释 变 量 


由 于 收集 到 的 数据 含有 大 量 的 文本 ， 比 如 公司 的 行业 类 列 、 闵 位 搬 述 等 
和 完 对 这 些 文本 数据 进行 词 云 分 析 。 在 公司 行业 关 别 和 岗位 描述 中 分 别提 取出 现 频 
率 最 局 的 关键 词 ， 并 对 剩余 天 键 词 绘制 词 云图 。 


以 六 位 描述 提取 的 关键 词 为 例 ， 发 现 用 人 单位 非常 注重 应 聘 者 的 数据 分 析 经 
验 和 数据 挖掘 能 力 ， 团 队 合作 、 沟 通 、 协 调 以 及 执行 力 等 也 很 重要 ( 见 图 5- 
32) 。 另 外 ， 独 立 、 有 责任 心 等 品质 也 不 容 忽视 : 会 操作 各 种 统计 分 析 软 件 也 很 
受 欢 迎 〈 见 多 5$-33) 。 
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经 验 教 握 分 析 团队 ” 业 备 ”专业 执行 力 ” 软 忻 瑶 据 控 握 协调 评 辑 轧 座 
描述 美 键 词 


图 5-32 ”出 现 频率 最 高 的 关键 词 


频数 


汉 
到 








图 5-33 ”剩余 关键 词 的 词 云图 


HH Wz HH Wz 
新 人 资 、 新 次 ! 


首先 运用 箱 线 图 来 分 析 新 资 与 各 个 因 系 《包括 地 区 、 公 司 类 别 、 公 司 规模 、 
经 验 要 求 、 学 历 要 求 及 软件 要 求 每 ) 乙 间 的 关系 〈 见 图 $-34) 。 以 ”学历 要 求 为 
例 ， 从 箱 体 的 水 平 宽度 可 以 看 出 ， 数 据 分 析 册 位 大 多 要 求 中 等 学 历 ， 如 大 专 及 本 
科 ， 要 求 硕 士 、 博 二 或 高 中 及 以 下 的 岗位 较 少 。 态 外 ， 薪 资 会 随 学 历 水 涨 船 高 。 
对 学 历 无 特别 要 求 以 及 要 求 最 低 学 历 在 大 专 以 下 的 加 位 薪资 水 平 赫 距 人 不 大 ， 本 科 
Hi 
学 历 。 


斤 ( : | 


和 
林 4 
R . : : 
证 1 0 区 
小 
局 -= 
中 专 高 中 太志 无 | 上 本 条 项 士 博士 
学 历 要 求 


图 5-34 ”新 资 与 各 个 因素 之 间 关 系 的 箱 线 图 


为 了 解数 据 分 析 疯 位 的 新 资 究竟 受到 哪些 因 系 的 影响 ， 并 量化 影响 程度 ， 以 
对 数 化 攻 资 为 因 变 量 建 并 回归 模型 。 解 释 变 量 包括 和 学历 要 求 、 经 验 要 求 、 软 件 要 
求 、 公 司 所 在 地 、 规 模 和 类 型 。 以 软件 要 求 为 例 ， 有 12 种 软件 出 现在 了 网 位 插 述 
中 ， 建 并 了 12 个 虚拟 变量 来 表示 岗位 十 任 要 求 沿 握 该 软 件 的 使 用 。 图 5-35 表 示 了 对 
应 回归 系数 的 佑 计 。 


由 图 5-35 可 以 看 出 ， 要 求 R，Java，SAS，Python，SQL 以 及 Ha - doop 的 数据 
分 析 岗 位 的 需求 通常 为 专业 技术 人 才 ， 故 倾 回 于 提供 较 局 薪资 。 例 如 ， 要 求 
Hadoop 的 数据 分 析 六 位 比 未 要 求 的 平均 薪资 局 23.6%; 有 要求 Excel 反 能 的 网 位 新 资 相 
对 于 无 此 要 求 显 车 为 负 ， 狂 测 因 为 指明 要 求 Excel 的 网 位 多 为 初级 数据 处 理工 作 ， 
因此 薪资 相对 较 低 。 
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图 5-35 ”对 应 回归 系数 的 估计 
产品 商业 化 及 应 用 


下 面 展示 三 种 实际 应 用 场景 。 首 先 ， 回 归 分 析 的 参数 伯 计 结束 可 以 用 于 应 聘 
者 的 职业 测评 和 用 户 男 像 〈 见 独 5$-36) 。 


* 根据 招聘 岗 性 详 本 挖 据 和 回归 模型 系数 估 
计 确 定 招 聘 者 的 五 维 评分 机 制 ， 对 应 聘 者 
评分 并 了 画像， 帮助 其 自我 定位 。 


*。 评分 各 维度 分 别 汶 : 专业 技能 ， 职 业 率 养 、 


学 历 、 经 验 、 软 件 掌握 情况 。 其 中 前 两 项 
由 文本 控 报 结果 迪 予 概 重 ， 后 三 项 由 回归 


系数 估计 周子 权重 。 袁 
* 专业 技能 包括 专业 背景 、 数 据 分 析 和 数据 | 
挖 扬 能 力 、 撰 写 能 力 等 。 职 业 素 养 色 括 责 


攻心 ， 执 行 力 、 国 队 侣 人 必 ， 表 达能 力 等 。 


I Te ee 
我 的 恒 二 和 酝 招 


聘 市 场 中 的 定 


位 是 起 税 欧 ? 






*。 与 待 撤 的 职业 测评 相 比 ， 本 产品 更 具 寺 业 
性 ， 有 重 直 深 六 的 全 赵 。 


图 5-36 ”职业 测评 及 应 聘 者 画像 


以 一 个 职场 灯 马 为 例 ， 给 出 五 维 评分 及 用 尸 夯 像 ， 如 图 5-37 所 示 。 为 外 ， 该 广 
品 人 还 可 以 通过 回归 模型 的 因 变 量 区 间 预 测 为 公司 招聘 定制 薪资 提供 参考 ( 见 图 5- 
38) 。 





职业 素养 一 般 ， 





* 将 应 对 者 信息 与 招聘 岗位 情况 代入 回归 模 
型 得 出 薪资 预测 ， 为 个 人 薪资 预期 和 公司 
薪资 制定 提供 参考 。 


*。 不 私 可 以 给 出 平均 音 资 的 单 点 预测 值 ， 还 
可 以 通过 预测 区 间 络 出 薪资 的 范围 ， 


图 5-38 ”薪资 制定 


最 后 ， 此 产品 对 学 校 制 定 相 关 专 业 学 生 的 培养 方案 也 有 一 坚信 鉴 意 义 〈 见 图 S- 
3 





图 $-39 ”相关 专业 培养 方案 优化 


温 区 提醒 : ”进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 数 据 几 位 ”， 听 姐 子 音 


频 ! 


中 文 文本 一 一 张无忌 最 受 谁 


金庸 的 " 射 欢 三 部 曲 ”， 收 官 忆 作 旦 《倚天 屠龙记 》。 人 金吉 先生 在 后 记 里 曾 说 : 
三 部 曲 中 孚 靖 城 朴 质 实 ; 杨过 深情 狂放 ; 张无忌 的 个 性 却 比 较 复 淋 ， 也 比较 软 


习习 。 


这 种 软 噶 可 以 从 他 对 爱情 选择 的 洲 移 上 看 出 。 幼 时 蝴 暴 谷 直 把 离 有 婚 语 之 
约 ; 年 少 汉 水 邂逅 周正 磊 ， 儿 成 民 缘 ;光明 项 过 小 昭 ， 意 存 怜惜 ， 绿 柳 山 庄 巡 赵 
敏 ， 昌 然 针锋相对 ， 但 也 一 生 蔚 绊 。 张 无 忌 本 人 态度 比较 上 暧昧， 可 以 说 他 性 笠 里 
拖 泥 市 水 ， 见 异 思 迁 ， 放 到 现在 基本 称 得 上 是 泻 则 中 的 战斗 深 。 张 无 忌 最 爱 谁 ? 
这 是 一 个 争论 得 沸沸扬扬 的 问题 。 今 天 ， 让 我 们 从 文本 分 析 的 角度 来 舌 探 瑞 倪 。 





资料 来 源 ， 图 片 来 日 网 络 。 
文本 数据 结构 化 
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图 5-41 小 说 中 的 主要 人 物 及 称谓 


分 析 小 说 等 文本 数据 最 大 的 难点 在 于 数据 高 度 非 结构 化 。 想 要 分 析 文 本 效 
据 ， 先 要 确定 分 析 的 目标 和 对 象 ， 以 达到 结构 化 数据 的 目的 。 这 里 的 目标 是 小 说 
人 人物， 因此 可 以 把 小 说 的 主要 人 物 和 他 们 的 称谓 《同一 行 的 代表 同一 人 物 的 不 同 
称谓 ) 提取 出 来 ， 如 图 5-4 ”1 所 示 。 接 下 米 ， 要 确定 分 析 单 位 。 先 摘录 小 说 原文 两 


段 : 


春游 泊 滨 ， 有 是 年 年 、 害 食 积 化 时 厂 。 日 刨 无 纹理 烂漫 ， 玉 树 天 酷 堆 雪 。 评 充 
沉沉 ， 浮 光 需 需 ， 次 浸 深 溶 月 。 人 间 天 上 ， 笠 银 震 昭通 彻 。 洗 似 姑 射 真 人 ， 天 姿 
元 俘 ， 意 气 殊 局 洁 。 万 化 参 寺 谁 信 道 ， 不 与 群 亏 同 列 。 海 气 请 天 ， 仙 才 时 车， 下 
土 难 分 列 。 表 人 台 归 去 ， 凋 天 方 看 消 绝 。 


作 这 一 首 《无 俗 念 》 词 的 ， 乃 南宋 未 年 一 位 武 学 名 家 ， 有 道 之 士 ， 此 人 姓 
丘 ， 名 处 机 ， 道 号 长 春子 ， 名 列 全 真 七 子 之 一 ， 是 全 真 教 中 出 类 拔 茶 的 人 物 。 
《 词 品 》 评 论 此 词 道 : “长春 ， 世 之 所 谓 仙人 也 ， 而 词 之 清 拔 如 此 。” 这 首 词 育 的 似 
是 梨花 ， 其 实 词 中 真意 却 是 赞誉 一 位 身 穿 白 衣 的 美貌 少女 ， 说 她 “ 深 似 寻 射 真人 ， 
天 姿 灵 秀 ， 意 气 殊 高 洁 ”"， 又 说 她 “ 浩 气 清 英 ， 仙 才 卓 芝 ”* 不 与 群芳 同 列 ”。 词 中 所 
颇 这 美女 ， 乃 古 慕 派 传人 小 龙 女 。 她 一 生 爱 穿 白 在 ， 当 真如 风 指 玉 树 ， 雪 庄 琼 
苞 ， 兼 之 生性 清冷 ， 实 当 得 起 “ 冷 浸 溶 深 月 ”的 形容 ， 以 “无 俗 念 "三 字 赠 之 ， 可 说 十 
分 贴切 。 长 春子 丘处机 和 她 在 终 南山 上 比邻 而 居 ， 当 年 一 见 ， 便 写 下 这 首 词 来 。 


从 以 上 两 段 文 字 可 以 看 出 ， 尽 过 文本 长 度 参差 不 齐 ， 但 是 金吉 先生 在 创作 小 
说 时 已 经 给 了 最 好 的 建议 : 目 然 段 。 目 然 段 是 这 里 的 基本 表意 单元 ， 可 以 以 目 然 
段 为 基础 进行 统计 分 析 。 在 这 里 ， 划 分 分 析 早 元 的 方式 还 有 许多 ， 比 如 ， 以 句子 
为 单位 可 不 可 以 呢 ? 当然 可 以 ， 上 只 要 是 相对 独立 的 表意 单元 即 可 。 


| PT 

















人 物 分 析 


基于 文本 的 手 述 分 析 可 以 说 丰 是 多 彩 ， 干 变 帮 化。 这里， 根据 分 析 目 标 ， 将 
搞 述 性 分 析 定 位 在 人 物 分 析 的 层面 ， 从 出 场 频次 、 出 场 时 间 、 杀 密 程 度 、 称 谓 变 
化 来 解析 作者 对 小 说 人 物 的 闷 男 。 


出 场 频 次 


首先 征 人 物 分 析 。 小 说 对 各 个 人 物 的 寿 芯 如 何 ?” 这 反映 了 不 同人 物 的 分 量 轻 
重 。 且 体 包 括 两 个 问题 : 


(1) 如 何 定义 一 个 “人 物 ”? 
(2) 如 何 将 其 出 场记 做 一 次 ? 


对 于 问题 (1) ， 以 主人 公 张 无 总 为 例 ， 定 义 这 个 人 物 最 简单 直接 的 方式 是 匹 
配 “ 张 无 总 ”这 个 名 词 。 这 种 方法 有 没有 漏洞 呢 ? 有 。 小 说 中 极 少 有 机 会 出 现 “ 张 无 
尽 ” 这 个 完 束 的 名 词 ， 大 多 数 时候 出 现 的 都 是 他 的 其 他 称谓 ， 比 如 “无 辟 关 阿 牛 
哥 * 张 教主 ”等 。 因 此 ， 可 以 按照 之 前 的 数据 准备 ， 将 同一 人 物 的 不 同 称 请 对 应 
到 “张无忌 "> 这 个 人 物 上 来 。 在 确定 了 人 物 之 后 ， 接 下 来 就 可 以 统计 人 物 的 出 场次 数 
了 了。 同样 ， 可 以 采取 简单 的 方式 : 计数 词 频 。 但 是 ， 正 如 之 前 提 到 的 一 样 ， 自然 
段 ee 所 以 在 这 里 ， 统 计 人 物 出 现 的 目 然 段 的 数目 ， 作 为 其 出 场 
次 数 。 计 结 果 如 图 5-42 所 示 。 考 庸 置 疑 ， 小 说 男 主角 张无忌 出 现 的 次 数 最 
ee er ede 
以 说 是 难 分 伯仲 。 
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除了 出 场 频 次 ， 在 小 说 中 ， 人 物 的 出 场 时 间 也 同样 重要 。 这 里 可 以 将 目 然 段 


按照 顺序 编号 ， 1，2，.…，T。 自 然 ， 时 间 点 就 可 以 理解 为 这 个 自然 段 编号 〈t= 
1，2，...，T) 。 然 后 ， 对 于 每 个 人 物 而 言 ， 可 以 统计 其 出 场 的 时 间 点 ， 如 表 5-2 
所 示 。 


表 5-2 各 个 人 物 出 场 的 时 间 扣 


人 物 出 场 目 然 段 
周 芷 右 730, 732, 737, 738, se 
张 无 忆 1 241, 1 242, 1 243, 1] 245, wu. 


椒 敏 3 590, 3 591, 3 593, 3 594, =*e*: 


从 表 4-2 可 以 看 出 ， 周 芷 各 出 场 最 时 ， 张 无 忌 届 其中， 而 赵 敏 最 晚 。 根 据 人 物 
出 场 目 然 段 的 统计 ， 不 难 对 人 物 出 场 时 间 进 行 密度 刻画 ， 以 此 看 出 作者 在 小 说 
前 、 中 、 后 期 对 人 物 摘 写 笔 专 的 分 配 。 图 5-43 给 出 了 了 出场” 时 间 密 大 图 。 为 了 简 早 
起 见 ， 这 里 只 给 出 了 前 面 戏 份 最 重 的 三 个 主角 : 张无忌 、 赵 敏 、 周 正和 右 。 
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图 5-43” 人物 出 场 时 间 密 撤 图 


从 图 $-43 可 以 看 出 ， 作 者 对 男 主 角 张 无 总 的 看 生 是 比较 均匀 的 ， 而 对 周正 乔 、 
赵 敏 的 安排 却 锚 别 凶 寞 。 周 正大 吴 世 、 汉 水 初 遇 、 峨 崩 学 亏 的 情 市 ， 已 经 在 前 期 
做 好 了 了 铺垫。 而 对 赵 敏 的 播 与 束 比 较 离 柯 了 了， 从 图 5-43 可 以 看 到 ， 赵 敏 的 出 场 儿 乎 
在 小 次 的 中 后 期 。 由 此 开始 ， 金 良 对 张无忌 、 赵 敏 、 周 正 右 之 间 的 感情 纠 允 进行 
了 浓 苟 重 彩 的 持 与 。 





前 文 握 到 ， 赵 敏 的 出 场 儿 乎 在 小 说 的 中 后 期 ， 但 是 ， 这 难道 意味 有 人 敏 敏 禾 主 
驶 甘 拜 下 风 了 吗 ? 事实 上 ， 赵 敏 、 周 正 磊 、 虑 离 、 小 申 四 位 佳人 部 与 为 主角 有 过 
情感 纠 允 ， 但 程度 却 难以 界定 ， 那 么 能 不 能 通过 她 们 与 张无忌 同时 出 场 的 次 效 来 
刻画 亲密 程度 呢 ? 

刚才 所 到 ， 目 然 段 是 表意 基本 单元 ， 同 一 目 然 段 意义 相近 ， 中 心 一 致 。 因 
此 ， 可 以 这 样 定 义 她 们 与 张无忌 的 杀 密 值 : 与 张无忌 出 现在 同一 目 然 段 的 次 效 。 
结 末 如 图 5-44 所 示 。 可 以 看 出 ， 尺 害 敏 敏 姥 主 出 场 不 利 ， 但 是 制造 了 更 多 跟 张 教 
主 杀 密 接触 的 机 会 ， 可 以 说 是 战斗 力 灯 表 。 
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图 5-44 ”四 位 佳人 与 张无忌 的 杀 密 值 
称谓 变化 


除了 以 上 有 要么 ， 人 物 的 称谓 变化 也 十 值得 分 析 的 基本 点 。 回 顾 前 文 的 人 物 称 
请 图 ， 每 个 称谓 都 有 它 育 后 的 故事 。 下 面 择 要 解读 。 


从 称谓 信息 来 看 ， 除 了 小 昭 的 称谓 比较 单调 之 外 ， 其 他 角色 都 有 不 同 的 称谓 
变化 。 凑 似 于 之 前 的 出 场 时 间 蜜 度 统计 ， 可 以 分 析 人 物 不 同 称谓 的 出 场 密度 。 以 
成 离 为 例 〔( 见 图 5-45〉 ， 可 以 看 到 她 在 全 书 中 称谓 的 变化 。 自 离 刚 出 场 时 ， 金 庸 对 
其 摘 述 是 “面容 葛 黑 ， 脸 上 肌肤 浮肿 ， 四 四 驯 斩 ， 生 得 极 是 丑陋 ”， 因 此 在 初期 
上 时“ 笑 八 怪 ? 是 对 她 的 刻画 。 而 后 来 她 的 真实 身份 工 光 ， 才 知 息 她 其 实 是 委 野 王 之 
女 ， 己 张无忌 是 表 兄 妹 之 杀 。 因 此 这 也 驶 个 难 猜 到 为 何在 后 期 " 筑 离 ”和 “表妹 ” 襄 主 
要 比例 了 。 

接 下 来 ， 围 绕 本 文 主题 来 看 看 周正 大 和 赵 敏 的 称谓 变化 。 为 了 体现 她 们 与 张 
无 忌 藉 系 中 的 称谓 变化 ， 这 里 只 你 留 曾 出 现 张无忌 的 目 然 段 。 其 中 ， 周 正和 奉 的 称 
谓 变 化 如 图 $-46 所 示 。 


从 图 5-46 可 以 看 出 ， 开 始 “ 周 寻 女 ”和 “正大 ”出 现 较 多 ， 可 以 说 是 比较 了 寻 馈 和 灸 

















陀 的 称谓 。 而 后 期 随 看 周正 各 为 完成 师父 址 命 生 出 种 种 事 病 〈 丛 傈 天 剑 、 居 万 
刀 ， 试 图 杀害 筑 离 并 尹 祸 赵 敏 ) ， 人 议和 逐步 转 黑 。 我 们 也 逐 潮 看 到 ， 更 有 距离 感 
的 称谓 ， 例 如 周 掌 门 、 宋 夫人 在 后 期 频 出 。 这 也 象征 腹 她 与 张无忌 在 后 期 的 人 生 
过 路 上 浙 行 潮 还 。 
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图 5-46 ”周正 各 称谓 的 变化 


再 来 看 看 赵 敏 的 各 个 称谓 在 各 目 然 段 的 分 布 结 末 《从 其 出 场 开 始 到 结束 ) 。 
从 图 5-47 可 以 看 出 ， 前 期 请 如 “起 嫩 女 “起 敏 ” 等 导 称 占 主要 部 分 (注意 ， 这 些 称 请 
是 存在 心理 上 的 距离 感 的 ) ， 而 后 期 比较 六 昵 的 称呼 ， 例 如 “ 敏 妹 * 敏 敏 ”较为 频 
索 ， 其 主要 原因 是 丙 人 关系 逐渐 绥 和 ，。 
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前 文 的 接 述 性 分 析 已 经 基本 反映 了 本 书 主角 之 间 相 爱 相 杀 的 天 系 ， 接 下 来 我 
们 对 小 说 中 的 人 物 进行 聚 类 分 析 ， 进 一 步 理 清和 人 物 之 间 的 关系 。 


要 进行 聚 类 分 析 ， 前 先 要 定义 人 物 之 则 的 “距离 ?>。 那 么 ， 如 何 定义 文本 词 目 之 
间 的 距离 昵 ? 这 里 可 以 使 用 词 癌 量 这 一 工具 。 简 单 来 说 ， 词 癌 量 就 是 将 词 映 射 到 
吹 氏 空间 的 一 各 表示。 其中， 两 个 词语 的 语义 越 相似 ， 其 欧 氏 容 间 距离 越 相 近 
( 见 图 5-48) 。 


如 何 得 到 词 向 量 呢 ? 简 言 之 ， 该 模型 通过 对 语 料 进行 神经 网 络 的 训练 ， 可 以 
把 每 个 词 映 射 到 低 维 癌 量 空间 ， 词 语 之 间 的 相近 关系 可 以 用 同 量 的 cosine 夹 角 表 示 
[1] 。 由 于 中 文 的 特殊 性 (不 像 英 文 一 样 词语 之 间 以 空格 分 隔 ) ， 训 练 词 回 量 需要 
先 对 文本 进行 分 词 ， 去 除 停 用 词 〈 比 如 “的 “了 ”* 等 表意 特征 不 明显 的 词 〉。 


只 无名 


区 “ 仇 


小 朋 
锥 离 头 绝 师 太 
张三丰 





图 5-48” 词 问 量 的 欧 氏 空间 表示 





a 
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腹 
古 : 
证 
图 5-49” 词 问 量 的 层次 聚 类 结果 


分 词 后 ， 可 以 将 语 料 通 过 word2vec 柑 型 2] 进行 训练 ， 得 到 每 个 词 对 应 的 词 问 
量 。 有 了 每 个 主角 名 词 对 应 的 词 癌 量 ， 束 可 以 进一步 定义 主角 之 间 有 的“ 距离” 基于 
此 ， 选 择 层 次 肥 类 法 ， 对 词 癌 量 结 末 进行 涌 类 分 析 。 由 图 5-499] 以 看 人 到， 肥 类 结 末 
基本 表征 了 小 说 中 主要 的 人 物 和 关系。 比如 ， 张 淮山 夫妇 与 谢 壕 置 一 同 共 处 冰火 
轧 ; 张三丰 一 文 为 武当 派 主 要 人 物 ;， 金 化 站 疲 的 女儿 为 小 昭 ， 秆 儿 古 碟 离 ， 火 绝 
师 太 一 文 主要 十 峨 媚 派 代表 ; 中 间 眉 天 正 一 文 为 明教 核心 肯 领 ， 而 最 右边 为 午 主 
府 的 主要 随从 。 


从 图 5$-49 来 看 ， 虽 然 张 无 忌 、 赵 敏 、 周 正在 同属 一 文 ， 但 是 张无忌 与 赵 敏 的 天 
系 更 为 杀 密 。 这 也 印证 了 他 在 全 书 终 时 对 人 焉 否 说 的 话 :“ 方 者， 我 对 你 一 问 敬 重 ， 


我 对 摘 家 表妹 心 生 感激 ， 对 小 昭 是 意 存 怜惜 ， 可 是 我 对 赵 敏 却 是 刻骨 馈 心 的 相 
爱 ! ” 





还 区 韦 醋 : 进入 狗熊 会 公众 与 “CluBear) 输入 文字 :“ 张 无 忌 ”， 听 布丁 首 
注释 
山 其 模型 推演 及 训练 的 科普 帖 请 参考 狗熊 会 微 信 公 众 与 中 更 评 细 的 版 本 。 
[un https: / /code . google . com / archive /p / word2vec /; https: / / 


en . wikipedia . org / wikki/ Word2vec . 


网 络 结构 数据 一 一 《对 召 传 》 中 的 爱 恨 情 做 


社交 网 络 是 最 近 十 年 兴起 的 一 种 新 型 社区 媒体 ， 从 最 初 的 开心 网 、 人 人 网 到 
现在 的 微 博 、 微 信 等 ， 互 联网 时 代 殉 证 了 一 批文 一 批 社 区 网 站 的 兴起 与 过 退 。 随 
看 最 近 儿 年 大 数据 概念 的 火热 传播 ， 侍 交 天 系数 据 锐 广泛 地 所 及 和 应 用 。 社 区 关 
系数 据 是 典型 的 网 络 结构 数据 。 那 么 什么 是 网 络 结构 数据 ? 有 哪些 最 妾 见 的 来 
源 ? 如 何 描述 网 络 结构 数据 ? 它 有 哪些 基本 的 特征 ? 这 学 都 是 本 守 例 要 回答 的 问 


三。 
网 络 结构 数据 简介 


当 人 们 所 到 社区 关系 时 ， 出 现在 脑海 里 的 往往 是 徽 博 、 微 信 、QQ 这 样 的 社交 
网 站 或 是 社 灾 APP。 没 钳 ， 这 些 就 是 网 络 结构 数据 最 基础 的 来 源 。 在 微 博 上 人 们 可 
以 通过 是 个 关注 对 方 来 建立 关系 ， 这 种 关系 的 建立 往往 是 非 对 称 的 ， 例 如 ， 很 多 
明星 大 V 的 粉丝 数 和 关注 数 是 严重 不 对 称 的 。 相 比 微 博 的 不 对 称 关 系 ， 微 信和 Q Q 
建立 的 关系 更 加 私密 ， 因 为 天 系 的 建立 需要 双方 互相 同意 ， 所 以 微 信 和 QQ 往往 是 
对 称 的 关系 。 此 外 ， 运 并 商 数 据 也 是 网 络 结构 数据 的 一 大 来 源 ， 因 为 它们 拥有 海 
量 有 的 客户 点 对 乓 通信 和 数据。 如 下定 义 一 个 人 和 为 一 个 人 通过 电话 就 可 以 建立 关 
系 ， 那 么 根据 用 户 的 通话 详 单 ， 吏 可 以 构建 一 个 叉 一 个 关系 网 络 。 所 以 ， 上 只 要 能 
够 合理 地 定义 关系 的 形成 ， 束 可 以 获得 很 多 网 络 结构 数据 。 


用 一 部 《 副 召 传 》 教 你 认识 网 络 结构 的 方方面面 

《最 召 传 》 想 必 大 部 分 读者 部 看 过 ， 或 者 昕 说 过 ， 在 这 部 剧 里 星 第 和 各 个 妃 
媒 之 间 的 关系 可 谓 十 针 综 复兴 ， 形 成 了 一 个 义 一 个 网 络 结构 。 接 下 来 束 以 《 副 召 
传 》 为 例 市 大 家 了 解 网 络 结构 的 方方面面 。 


网 络 拓扑 结构 : 由 复 淋 的 吕 斗 最 后 也 浓 罗 为 扩 和 线 





| 


图 5-30 ” 《最 召 传 》 中 作物 天 系 的 网 络 拓 扑 结构 


网 络 结 构 数 据 就 是 由 网 络 拓 扑 结 构 ( 如 皇帝 与 刀 巡 之 间 的 关系 )〉 以 及 附着 在 
这 上 面 的 其 他 相关 数据 构成 的 。 为 了 更 清晰 一 些 ， 不 妨 用 图 表 进 行 展 示 。 假 设 图 5- 
S$0 所 展示 的 是 《 杜 召 传 》 中 错综复杂 的 网 络 拓扑 结构 。 在 一 个 网 络 拓扑 结构 中 ， 
有 两 个 重要 的 元 素 : 一 个 称 为 节点 (node) ， 即 图 中 大 小 不 一 的 圆圈 ， 用 来 表示 网 
络 当 中 的 成 员 ， 例 如 这 里 我 们 标 出 了 杜 召 、 旺 后 和 呈 帝 。 另 一 个 区 是 连接 和 点 与 
节点 之 间 的 边 〈edge) ， 用 来 表示 网 络 成 员 之 间 的 关系。 根据 边 的 方 同性 ， 叉 可 以 
进一步 把 关系 分 为 有 问 的 ”和 无 回 的 ， 相 应 地 就 可 以 构成 有 问 网 络 和 无 回 网 络 。 对 
于 有 向 网 络 ，A 关 注 了 B 并 不 代表 B 会 关注 A;， 相 反 在 无 向 网 络 中 ， 由 于 关系 的 无 向 
性 ，A 关 注 了 B 也 代表 B 同 时 关注 了 A。 


网 络 数据 : 那些 爱 恨 情 仇 不 过 是 矩阵 里 的 一 个 元 对 


对 于 网 络 拓扑 结构 ， 第 篆 用 邻接 窍 阵 〈adjacency ”matrix) 来 表示 。 在 这 以 旺 
稍 、 星 后 、 华 妃 、 杜 召 和 沈 眉 庄 为 例 进 行 简单 的 说 明 。 在 最 开始 的 时 候 ， 星 后 、 
华 妃 党 还 没有 和 村 召 结 外 ， 故 不 存在 联系 关系 ， 所 以 这 五 个 人 的 关系 可 以 简单 地 
用 图 5-51 中 的 左 图 展示 ， 注 意 这 是 一 个 无 回 的 网 络 。 下 和 耐 要 做 的 束 是 把 这 样 的 图 形 
展示 转换 成 一 个 邻接 窍 阵 。 令 接 算 阵 自 先是 一 个 方 了 泗 ， 这 里 有 5 个 节操 ， 所 以 这 是 
一 个 5x5 的 方 阵 ， 将 5 个 节点 分 别 列 在 模 排 和 纵 排 ， 矩阵 里 有 两 个 元 到 ， 分 别 是 0 和 
1。 共 个 例子 ， 星 第 和 台 召 之 间 存 在 一 条 边 ， 所 以 由 旺季 到 台媒 的 这 个 时 元 格 坦 元 
1， 表 示 存 在 一 条 关系 ， 人 否则 为 0， 没 有 关系 。 以 此 关 推 ， 束 可 以 把 和 钢 5$-$1 中 的 左 岁 
用 图 形 展示 的 网 络 拓 扑 结 构 表 示 成 图 5-51 中 的 右 图 的 邻接 矩阵 形式 。 所 以 从 实质 来 
看 ， 左 右 风 图 是 等 价 的 ， 只 不 过 采用 邻接 算 隆 的 形式 更 方便 对 网 络 结 构 数 据 进行 


- 








存储 和 运算 。 


1 皇帝 2 对 如 3 皇后 4 华 妃 5 沈 眉 庄 


1 皇帝 0 1 1 1 0 

mt 2 杜 烟 1 0 0 0 1 
: 3 皇后 1 0 0 1 0 
4 华 妃 1 0 1 0 0 

5 沈 眉 庄 0 1 0 0 0 





图 5-51 ”网络 关系 的 邻接 矩阵 表示 


值得 一 扣 的 是 ， 上 和 而 构建 的 邻接 短 阵 是 一 个 0-1 答 阵 ， 即 只 表示 了 是 人 盏 存在 一 
条 关系 ， 而 在 网 络 中 还 可 以 对 关系 定义 强 罚 ， 即 强 天 系 还 是 异 天 系 ， 堵 么 这 束 涉 
TS 
和 分 析 。 


邻接 短 阵 所 展示 的 是 和 边 相关 的 数据 ， 星 吕 里 的 爱 恨 情 仇人 不 过 是 0 和 1 的 关 
系 ， 所 以 各 位 小 主人 还 是 看 开 点 好 。 除 了 和 边 相 关 的 数据 ， 还 有 和 区 点 相关 的 数 
据 ， 比 如 姓名 、 年 龄 、 职 业 、 教 育 育 景 等 ， 这 些 更 多 的 是 传统 数据 中 的 属性 数 
据 。 因 此 ， 对 于 网 络 结构 数据 来 说 ， 除 了 拥有 传统 数据 里 的 一 些 属性 结构 外 ， 最 
大 的 特 后 束 是 定义 了 来 目 边 的 数据 。 








图 5-52 ”附着 在 网 络 结构 上 的 其 他 数据 
网 络 密度 ， 一 入 皇宫 深 似 海 


一 入 星 襄 深 似 海 ， 那 么 究 葛 有 多 深 呢 ?这 就 涉及 如 何 刻画 一 个 网 络 的 密度 。 
我 们 将 网 络 密度 〈density) 定义 为 网 络 中 实际 存在 的 边 与 可 能 存在 的 边 的 比例 。 网 
络 密度 刻 男 了 一 个 网 络 的 芷 蜜 程度， 密度 越 大 ， 说 明 网 络 越 稠 密 ， 反 之 ， 网 络 越 
稀 丽 。 仍 以 初期 的 星 帝 、 星 后 、 杜 召 、 华 妃 和 沈 眉 庄 的 网 络 结构 为 例 ， 根 据 完 
义 ， 可 以 计算 出 表 5 3 这 个 网 络 的 密度 为 : 10 / 20 二 0.5。 这 可 以 算是 一 个 极其 稠密 
的 网 络 了 ， 只 能 说 “皇宫 有 风险 ， 入 宫 需 谨慎 ”! 值得 一 提 的 是 ， 在 现实 的 网 络 数据 
中 ， 网 络 密度 往往 是 非常 低 的 。 






表 5-3 
1 皇帝 0 | 1 1 0 
2 杜 召 1 0 0 0 1 
3 星 后 ] 0 0 1 
4 华 如 ] 0 1 0 0 
5 沈 眉 庄 0 ] 0 0 0 


出 度 《〈《 入 度 ) : 纵 有 佳丽 三 千 ， 唯 有 心头 一 人 


古代 女 子 进言 无 非 是 想得到 星 帝 的 恩 宠 ， 从 此 平 步 育 云 。 然 而 三 下 六 院 ， 佳 
丽 三 干 ， 独 得 一 宠 谈何容易 ?这 里 其 实说 的 是 关系 的 不 对 称 性 ， 那 么 如 何 刻 画 这 
种 不 对 称 性 呢 ? 首先 要 介绍 的 一 个 概念 是 “上 度 ”， 又 可 以 分 为 出 度 (out - degree) 和 
入 上 度 (in - degree) 。 出 度 指 的 是 由 某 一 个 节点 回 外 发 出 的 边 的 个 数 ， 入 上 度 指 的 是 
指 问 基 一 个 节点 的 所 有 边 的 个 数 。 如 图 $-$3 所 示 ， 对 于 星 希 来 说 ， 他 和 杜 娃 、 量 后 
和 华 妃 有 联系 ， 所 以 旺销 的 出 度 为 3;， 对 于 沈 眉 庄 来 说 ， 只 有 于 召 的 关系 指 回 了 
她 ， 因 此 她 的 入 撒 是 1。 所 以 对 于 明 第 来 说 ， 他 是 “上 度 ” 最 大 的 那个 人 ， 拥 有 了 众多 
的 佳丽 资产， 然而 对 于 小 主 们 来 说 ， 除 了 星 帝 ， 又 有 几 个 是 她 们 的 知心 姐妹 呢 ? 

| 
1 皇帝 2 枉 娠 3 皇后 4 华 妇 1 5 尝 收 庄 | 
. 一 一 出 度 ( out-degree ) 














一 一 入 度 (in-degree ) 


图 5-53 ”出 度 与 入 度 的 定义 
稀 玖 性 ， 星 后 怎么 会 具 得 上 媒 召 ? 


有 人 把 《 归 召 传 》 比 作 一 个 女人 的 复仇 史 ， 其 实 也 不 为 过 。 召 燥 是 如 ” 何 从 最 
开始 的 一 个 异 女 子 成 长 为 一 个 女 强 人 的 呢 ? 其 实 人 社交 关系 完全 可 以 给 出 容 委 ! 起 
急 召 旭 作 为 一 个 无 名 小 幸 怎 么 会 被 星 后 注意 到 ? 当然 不 会 ! 这 是 由 社交 网 络 的 黎 
忒 性 《〈sparsity) 决定 的 ， 黎 下 性 说 的 是 任何 两 个 个 体 产 生 一 条 过 的 概率 几乎 为 0。 
如 果 用 数学 的 形式 表达 ， 就 是 P (a; ;= 1) 一 0， 即 由 个 体 到 个 体 j 产 生 关 系 的 概率 
趋 于 0。 换 名 话说 ， 星 帝 每 年 要 选 那么 多 的 佳人 入 虽 ， 星 后 怎么 可 能 每 一 个 都 夭 
注 ， 所 以 最 开始 媒 召 要 想得到 旦 后 的 关注 儿 乎 不 可能。 





图 5-54” 稀 琉 性 的 理解 :任何 两 个 个 体 产 生 一 条 边 的 概率 几乎 为 0 


传递 性 : 召 如 是 如 何 被 星 后 恨 上 的 ? 


召 召 气 竞 是 如 何 被 星 后 恨 上 的 呢 ? 这 其 中 一 定 有 看 干 经 思绪 的 天 系 。 最 开始 
疆 召 作为 一 个 无 名 小 奉 ， 是 不 可 能 被 星 后 认识 的 ， 但 是 后 来 娱 召 进 了 宫 ， 受 到 了 
旺销 的 恩 宠 ， 这 融 建 立 了 从 星 希 到 召 召 的 一 条 边 ， 而 旺 后 作为 六 宣 之 主 ， 对 于 旺 
第 的 一 从 一 动作 然 是 了 如 指 掌 ， 于 是 星 后 人 到 召 召 的 关系 束 通 过 旦 第 这 个 关键 节 扣 
建立 起 来 了 了。 实际 上 ， 在 社交 网 络 中 ， 很 多 关系 的 建立 都 是 通过 这 种 传递 性 
(Ctransitivity) 来 实现 的 。 在 微 睛 上， 经 音 能 看 到 这 样 的 推送 信息 , “你 可 能 认识 示 
菏 人 ”， 这 是 非常 典型 的 好 友 推 茬 ， 好 友 推 荐 很 大 程度 上 是 依赖 于 共同 好 友信 息 或 
是 这 种 传递 性 。 所 以 ， 传 递 性 能 够 帮助 社交 网 络 中 的 节点 建立 更 多 的 关系 。 














图 5-55 ”传递 性 图 示 
互 粉 性 ， 媒 媒 如 何 意识 到 皇后 对 自己 的 “关注 ”? 





星 后 和 媒 媒 本 来 可 以 相安 无 事 ， 但 古 由 于 召 媒 太 得 宕 ， 招 来 了 星 后 、 华 妃 等 
一 干 人 的 嫉妒 ， 在 经 历 各 种 打压 之 后 ， 召 召 终 于 要 出 手 了 ! 网 络 结构 的 互 粉 性 
Greciprocity) 说 的 是 一 旦 给 定 个 体 坦 个 体 有 一 条 关系 ， 那 么 会 大 大 增加 从 个 体 
到 个 体 i 建立 一 条 关系 的 概率 。 用 数学 的 方式 表达 就 是 P (ai ; =1|a;; =1) 三 0.7， 
这 是 一 个 条 件 概 率 的 形式 。 在 很 多 实际 的 例子 中 ， 可 以 看 到 互 粉 的 比例 要 比 单 问 
关注 关系 的 比例 高 得 多 。 在 网 络 中 ， 由 稀 焉 性 知道 任意 两 个 人 认识 的 概率 是 非 营 
低 的 ， 但 是 如 果 给 定 A 对 B 建 立 了 关系 《 旺 后 一 直 在 打压 召 娃 ) ， 那 么 由 互 粉 性 知 
HR 
必 反 击 ) 。 


暴 律 分 布 : 旦 帝 坐 拥 后 名 三 千 ， 目 姓 上 只 有 过 交 二 三 





拥有 佳丽 三 干 ， 这 估计 是 古代 每 个 男人 的 梦想 。 但 是 理想 很 丰满 ， 现 实 很 骨 
感 。 大 多 数 人 都 是 平 负 百姓， 而 星 冰 只 有 一 人 。 这 说 的 束 是 网 络 结构 数据 的 晕 律 
分 布 power - lawdistribution) 特征 ， 即 在 社交 网 络 中 只 有 人 少 部 分 人 会 有 极其 多 的 
好 友 ， 而 大 多 数 人 只 有 平均 水 平 的 好 友 数 。 再 比如 在 微 博 上 ， 只 有 像 明星 大 V 这 样 
的 用 户 会 有 百 万 级 其 公干 万 级 的 粉 经 数 ， 而 对 于 普通 大 众 来 说， 粉丝 数 平均 可 能 


只 有 有 儿 白 或 几 干 。 如 果 把 一 个 社交 网 络 中 每 个 人 拥有 的 粉丝 以 耳 方 图 的 形式 展示 
出 来 ， 那 么 会 看 到 粉丝 数 的 分 布 呈现 图 5-57 的 样子 。 社 交 网 络 的 这 种 窘 律 分 布 说 
明 ， 在 网 络 结构 数据 中 存在 一 些 有 强 影 啊 力 的 太 把 ， 他 们 起 看 非常 关键 的 作用 。 





P{a;; 一 1|a; 一 - 有 = 


图 5-56” 互 粉 性 图 示 
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图 5-57 血 律 分 布 的 直方 图 展示 


全 此 ， 我 们 用 一 部 《 曼 召 传 》 栅 理 了 关于 网 络 结构 数据 的 最 基本 知识 ， 震 
然 ， 这 些 概念 并 不 全 面 ， 但 十 却 能 帮 我 们 揭 开 关于 网 络 结构 数据 的 一 层面 纱 。 


温 吉 手眼 : 进入 狗熊 会 公众 号 〈CluBear) 输入 文字 :“ 疆 召 传 ”， 看 静 静 怕 


图 像 数据 一 一 通过 图 请 识别 PM2.5 


图 像 数 据 是 万 外 一 种 钟 匈 的 非 结 构 化 数据 。 它 是 时 代 及 展 、 数 但 成 像 扩 术语 
及 成 玖 后 出 现 的 一 种 狸 特 的 数据 基 型 。 


图 像 数据 便 介 


一 幅 图 像 在 电脑 中 存储 的 方式 往往 非 浓 简 单 粗 暴 。 以 长 方形 图 像 为 例 ， 电 脑 
首先 将 它 横着 切 9 刀 ， 纵 着 切 9 刀 ， 形 成 10x10 王 100 个 方块 ， 这 其 实 就 是 像素 了 。 
当然 ， 真 正 的 数码 成 像 拉 术 所 得 的 像素 要 比 这 高 很 多 ， 也 更 复杂 深刻 。 但 最 基本 
的 道理 就 是 这 样 。 然 后 ， 每 个 小 方块 (一 共 100 个 ) 就 是 一 个 像素 点 。 在 一 个 给 定 
的 像素 点 上 ， 计 算 机 不 再 区 分 它们 的 颜色 深浅 ， 而 是 用 一 个 均匀 的 整 色 表 达 。 从 
数学 上 看 ， 这 和 营 党 被 表达 成 一 个 长 度 为 3 的 同 量 ， 分 别 对 应 着 三 种 原色 : 

R (red) ，G (green) ，B (blue) 。 每 个 元 系 的 取 值 在 0 一 1。 其 中 0 表示 没有 这 种 
色素 ， 而 1 表示 最 强 。 如 果 一 个 像素 点 的 三 个 元 素 都 取 0， 就 成 了 黑色 ; 如 果 三 个 
元 素 都 取 1， 就 成 了 白色 。 


如 图 5 5 8 所 示 ， 图 像 数 据 有 太 多 的 重要 应 用 了 。 例 如 在 医学 成 像 中 ，XX 光 厂 、 
MRI、 彩 超 等 ， 都 属于 图 像 数 据 分 析 的 范畴 。 平 津 手 机 上 的 指纹 识别 、 人 脸 识 别 、 
美 图 郁郁 也 是 关于 图 像 数 据 的 应 用 。 信 车 场 中 关于 车 牌 写 的 目 动 识别 也 是 图 像 数 
据 分 析 的 应 用 成 果 。 图 像 方 面 的 成 功 应 用 不 胜 其 数 ， 相 关 专 阁 汗 牛 充 栋 。 











图 5-58 ”图 像 数 据 应 用 举例 


图 像 效 据 与 PM2.5 


图 像 数 据 可 以 预测 PM2.5 吗 ? 不 芒 一 拧 完 竟 。 我 们 的 研究 想法 部 分 受到 邹 煞 移 
生 的 局 发 。 拖 数 先 生 是 一 位 致力 于 全 氏 环保 的 环保 达 人 ， 创 办 本 北京 一 目 了 
然 ” 公 蔓 环 傈 项 目 。 “北京 一目了然 ”是 一 个 针对 大 气 污染 防治 ， 亏 各 和 推动 三 大 公 
众 通过 于 机 拍照 的 方式 ， 专 门 对 邹 手 问题 进行 参与 、 头 注 、 研 究 、 监 测 和 大 数据 
分 机 ， 致 力 于 打造 以 空气 质量 分 享 、 提 供 大 气 环境 质量 信息 服务 、 以 亿 计 公众 参 
与 的 公 爸 环保 共 字 平台。 拖 数 先生 通过 目 己 长 期 的 手机 拍照 行为 ， 记 录 了 北 泵 其 


全 其 他 城市 的 空气 污染 状况 见 图 5-59) 。 


图 5-59 来 自分 谢 先 生 的 新 浪 微 博 。 我 们 惊奇 地 发 现 ， 空 气质 量 的 好 坏 是 有 可 能 
通过 图 片 表达 出 来 的 。 也 许 这 种 表达 无 法 达到 国 探 专业 站 点 的 精度 ， 但 是 这 种 方 
式 的 成 本 非常 低 ， 因 此 可 以 鼓励 更 多 人 记录 跟踪 ， 并 且 难 以 造假 。 受 此 启发 ， 我 
们 决定 用 目 己 的 相机 设备 ， 目 主 采 集 图 像 数 据 ， 并 党 试 通过 合理 的 统计 学 模型 ， 
建立 图 像 与 PM2.5 之 间 的 关系 。 
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三 三 Ni FF 


务 脸 ， 己 经 成 为 人 们 生活 的 一 部 分 ， 其 首要 污染 物 成 分 束 古 PM2.5， 即 环 培 
气 中 空气 动力 学 当量 直人 答 小 于 等 于 2.5 微 米 的 颗粒 物 。PM2.5 能 较 长 


时 间 巷 淳于 空 斥 中， 会 有 裤 飞 大昌 、 能 见 度 以 及 人 体 的 健康 产生 不 恨 影 响 。 
其 在 空气 中 含量 浓度 越 高 ， 衬 气 污 染 越 严 重 。 目 2013 年 1 月 起 ， 率 津 嘉 、 长 三 角 等 
重点 地 区 共 7 4 个 城市 经 开始 按 要 《环境 空气 质量 标准 》 (GB3095 一 2012) 
含 PM2.$ 在 内 的 空气 首要 污染 物 开 展 监 测 和 评价 。 和 截至 2016 年 11 月 底 ， 全 国共 
1436 个 国家 空气 质量 监测 站 点 ， 由 国家 统一 运行 维护 ， 监测 数据 直 报 国家 并 对 外 
公开 。 但 事实 上 ， 全国 大 量 的 监测 站 点 数据 质量 难以 保证 。 有 的 监测 站 点 因为 维 
护 不 善 存在 大 量 数据 人 缺失、 数据 质量 参差 不 齐 的 现象 ， 造 假 事 件 更 被 屡屡 曝光 。 
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图 5-59 ”一 组 来 日 新 浪 微 博 的 北京 空气 质量 图 


在 这 种 情况 下 ， 我 们 试图 找到 一 个 更 人 镜 便 有 效 的 途径 来 观测 PM2.5 值 。 我 们 的 
建 模 司 发 来 目 图 像 分 机 。 从 邹 煞 先生 的 图 片 中 可 以 看 到 ， 衬 气 污染 程度 不 同 ， 人 





眼 的 观感 也 不 同 ， 因 此 照片 中 必然 洛 有 一 定 的 PM2.$ 信 息 。 为 此 ， 我 们 在 北京 大 学 
的 某 个 位 置 架 设 了 一 台 最 简易 的 手机 (能 照相 即 可 〉，， 并 通过 自己 设计 的 APP 定 时 
拍照 ， 自 动向 指定 的 网 盘 传 输 数 据 。 和 希望 用 这 些 图 片 信息 来 解释 国 控 万 柳 站 〔〈 离 

北京 大 学 最 近 〉 的 PM2.5$ 数 据 。 如 何 将 人 们 对 于 图 片 的 朴素 感知 转化 成 可 以 量化 

的 、 与 PM2.5 相 关 的 特征 ， 是 这 个 项 目 成 败 的 关键 。 





需要 一 种 经 济 方便 的 








PM2.5 监 控 技 术 





图 5-60 ”PM2.5 数 据 质 量 监 控 的 挑战 
图 像 特征 : 灰 度 兰 分 值 的 方差 


灰 度 是 指 一 张 黑 白 图 像 中 的 颜色 深度 ， 对 于 彩色 照片 ， 灰 度 就 是 RGB 的 线性 
组 合 ， 一 般 情 况 下 亮 部 灰 度 值 低 ， 蜡 部 灰 度 值 高 。 灰 虚 的 变化 可 以 反映 图 像 中 明 
暗 的 变化 ， 筋 俐 越 严 重 ， 图 像 越 不 清晰 ， 灰 度 变 化 也 束 越 小 。 我 们 定义 灰 度 差分 
为 某 一 像素 点 的 灰 度 值 减 去 上 格 像 际 点 灰 度 值 。 过 历 图 像 中 所 有 像素 点 求 其 灰 度 
甜 分 ， 而 后 计算 灰 度 差分 的 方才 ， 最 后 取 方 兰 的 对 数 作 为 图 像 特征 。 以 空气 质量 
状况 迎 异 的 两 张 图 片 为 例 〈 见 图 $-61) ， 第 一 张 图 像 的 空气 质量 状况 为 优 ，PM2.5 
二 3， 其 灰 度 差 分 的 方差 为 0.0037， 第 二 张 图 像 的 空气 质量 等 级 达到 了 重度 污 
染 ，PM2.5 二 428， 其 灰 度 差分 的 方差 为 0.0009， 明 显 小 于 第 一 张 照片 。 此 外 ， 从 
箱 线 图 可 以 看 出 ， 随 着 PM2.5 的 污染 程度 增加 ， 灰 度 差分 的 方差 呈 减 小 趋势 。 


图 像 特征 : 清晰 度 


清晰 度 来 源 于 计算 机 视觉 图 像 中 的 去 雾 领域 ， 它 表示 反射 光 未 衰减 的 ”比例 。 
拍照 的 原理 是 物体 的 反射 光 被 相机 接收 ， 设 此 反射 光 为 ] (x) ， 但 它 在 传播 过 程 中 
会 有 一 定 的 衰减 ， 我 们 将 最 后 到 达 相机 的 剩余 反射 光 的 比例 记 为 t (x) ， 即 清晰 
度 ， 最 终 到 达 相机 的 来 源 于 物体 的 反射 光 为 J (x) t (x) 。 此 外 ， 还 有 一 部 分 光 也 
会 到 达 相机 ， 这 就 是 大 气 背景 光 ， 设 其 为 A， 到 达 的 大 气 背景 光 占 所 有 接收 到 的 光 
的 比例 为 1 一 t Cx) 。 因 此 ， 相 机 最 终 接收 到 的 总 光 强 为 J (x) t (x) 十 A (1 一 
t (x) ) 。 如 图 5-62 所 示 天 安 门 的 图 像 ， 加 了 大 气 背 景 的 雾 考 ， 就 变 成 了 灰 蒙蒙 的 





oon7 国 。 ”六 度 差分 的 方差 vs PM2.5 
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图 $-61 灰 度 差分 的 方才 


大 气 背 景 光 补 区 ， 
到 达 相 机 的 光 强 : 
4f] 一 上 fx 


EYE - 


由 /0 物体 反射 光 
» 


二 剩 | 余 到 达 相 机 的 及 躺 


1(*) 是 清晰 度 ， 表 示 反 射 光 未 衰减 的 比例 。 。 并 要 为 ;VCD 








图 5-62 ”清晰 度 
图 像 特 征 : 饱和 度 


饱和 度 指 图 像 中 色彩 的 鲜艳 程度 ， 例 如 图 5-63 中 论 的 照片 ， 调 高 它 的 饱和 度 ， 
可 以 看 到 花茶 变 得 更 加 鲜 攀 了 。 提 高 饱和 度 会 使 图 像 色 彩 更 鲜 攀 ， 显 得 空气 质量 
有 上 所 提升 。 饱 和 度 与 图 像 中 灰色 成 分 所 占 的 比例 有 关 。 雪 玫 会 使 独 像 变 灰 ， 色 彩 
鲜艳 程度 减弱 ， 因 此 雾 狂 越 严 重 ， 图 像 饱和 度 越 低 。 从 几 $-64 可 以 看 出 ， 当 PM2.5 
一 3 时 ， 饱 和 度 平均 值 为 0.41;， 当 PM2.$ 王 428 时 ， 饱 和 度 平 均值 为 0.22。 从 箱 线 图 
中 发 现 ， 随 着 污染 程度 加 重 ， 饱 和 度 的 平均 值 逐 渐 下 降 。 
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图 $-63 ”饱和 度 〈 一 ) 
饱和 度 的 均值 vs PM2.5 
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图 $-64 ”饱和 度 〈 二 ) 


图 像 特 征 : 高 频 含量 


如 条 把 铭记 看 成 一 个 二 维 信号， 将 这 个 信号 在 频 域 上 进行 分 解 ， 可 以 得 到 立 
像 的 频率 分 布 ， 这 种 频率 分 布 反 映 了 阁 像 的 像 系 艾 度 在 空间 中 变化 的 情况 《〈 见 网 5- 
65) 。 我 们 定义 分 布 中 的 高 频 含量 为 99.8% 分 位 数 减 去 0.2% 分 位 数 的 值 。 在 一 面 墙 
壁 的 图 像 中 ， 由 于 灰 上 度 值 分 布 比 较 平 坦 ， 噩 频 成 分 束 会 较 罚 。 也 束 是 说 ， 局 频 含 
量 决 定 了 图 像 的 细 证 部 分 。 








EE 


高 源 合 量 = 频率 分 布 99.89% 分 位 数 - 0.2% 分 位 数 


天 气 晴 最 ,细节 丰富 , 图片 高 频 含 量 会 比较 多 : 
雾 重 严重 ， 细节 被 撞 盖 ， 凯 顿 舍 呈 会 品 兰 减少 ， 


几 $-6$ ”高 频 含 量 〈 一 ) 


从 图 5-66 可 以 看 出 ， 两 张 图 片 中 的 红 框 束 是 图 像 中 的 一 处 细节 。 当 PM2.5 二 3 
上 时， 细节 很 丰富 ， 可 以 分 辩 远 山 、 建 筑 、 天 空 ， 此 时 高 频 含量 为 1253; 而 PM2.5== 
428 时 ， 筋 绪 很 关 重 ， 只 能 看 清 图 像 中 物体 的 轮廓 ， 难 以 分 辨 更 多 的 细节 ， 此 时 局 
频 侣 量 为 431。 大 致 来 看 ， 污 染 程度 越 高 ， 图 像 的 高 频 合 量 越 小 。 


器 归 分 析 : 图 像 信息 能 否 了 预测 PM2.5? 


以 PM2.5 为 因 变 量 ， 从 图 像 中 所 取出 来 的 四 个 特征 为 解释 变量 ， 建 立 回 归 模 
型 。 从 图 5-67 可 以 看 出 ， 回 归 系 数 的 符 写 与 之 前 的 预期 一 怪 ， 回 归 的 拟 合 优 度 为 
0.82。 


再 来 看 模型 的 预测 效果 。 这 里 ， 不 考虑 具体 的 PM2.5 取 值 ， 而 是 关心 污染 程 
上 度 。 我 们 建立 了 和 定 序 回归 模型 ， 并 使 用 留 一 交叉 验证 法 来 考察 模 ”型 的 预测 效果 。 
结果 表明 〈 见 图 $-6 ”8) ， 预 测 为 相同 等 级 的 占 比 68.1%， 相 差 一 个 等 级 的 占 比 为 
30.1%， 这 一 结果 说 明 构 建 的 模型 能 够 有 效 地 通过 定点 图 像 识 别 PM2.5。 


高 频 含 量 vs PM2.5 
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图 5-66 ”高 频 含 量 (二 ) 
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在 本 案例 中 ， 通 过 从 疼 像 中 提取 特征 来 解释 PM2.5。 这 种 控 方 法 不 受 专业 工 
有 只 限制 、 成 本 非常 低 并 且 可 以 让 普通 大 众 痢 加 入 到 对 空气 污染 


的 监控 队伍 中 来 。 当 然 ， 这 种 方法 还 存在 一 些 问题 ， 比 如 只 能 利用 日 天 的 图 
片 ， 拍 摄 角 度 和 光线 也 会 对 分 析 结 来 造 成 影响 。 针 对 这 些 问 题 ， 可 以 从 以 下 方 同 
继续 努力 探索 : (1) 增加 设备 。 可 以 符 试 在 同一 个 检测 若 赂 围 的 不 同 地 点 进行 担 
照 ， 增 加 拍摄 视角 和 面 面 的 多 样 性 。 (2) 建立 非 定 点 模型 。 现 在 的 扣 摄 多 是 定 扣 
画面， 图 片 自 变 量 的 泛 化 能 力 有 待考 察 ， 可 以 努力 提高 模型 4 的 稳定 性 和 扩展 性 





(3) 增加 与 雪 狂 有 天 的 其 他 变量 ， 比 如 光照 、 天 气 、 季 节 因 素 等 。 币 望 通过 这 些 
探索 ， 可 以 让 疼 像 成 为 一 种 更 为 可 乱 的 PM2.5 预 名 于 段 。 


pPM2 5 值 对 应 的 空气 质量 等 级 : 中 国 殉 测 条 = eh pai 
i 每 次 提取 1 个 样本 作为 巴 


= 级 ( 良 ) 三 级 ( 轻 度 污 染 ， 。 测 集 ， 剩 下 的 作为 训练 集 
进行 对 此 样本 的 预测 








0( 完 全 正确 ) | 1 | 
68.1 301 0.0 





图 5-68 ”污染 等 级 


温 葵 提醒 : 进入 狗 能 会 公众 号 (CluBear) 输入 文字 “PT M”， 上 听 莉 唱 音 频 。 


刷卡 数据 一 一 互联 网 征 信 


本 采 例 的 业务 背景 是 一 家 拥有 海量 刷卡 数据 的 小 贫 公 司 。 作 为 一 个 小 贫 公 
司 ， 其 主要 业务 就 是 发 放 小 额 、 无 抵押 、 无 担保 的 贷 蒜 。 其 收益 主要 是 高 额 利 
县 ， 其 风险 是 贷款 者 赖账 的 损失 。 因 此 ， 该 企业 希望 通过 对 目 己 手中 的 刷卡 数据 
进行 有 效 分 机， 形成 关于 小 贷 申 请 人 信用 的 打分 ， 用 于 指导 实际 小 贷 业 务 。 


刷卡 数据 向 介 


什么 是 刷卡 数据 ?比如 在 一 张 如 图 5 6 9 所 示 的 刷卡 单 上 ， 通 常 可 以 收集 到 如 
下 信息 : 〈1) 商户 信息 ; (2) 银行 卡 信 息 ; (3) 交易 信息 (交易 时 间 、 交 易 金 
额 ) 。 而 实际 上 却 不 是 只 有 刷卡 单 上 的 这 些 文学 和 数据 这 么 简单 ， 具 体 到 企业 的 
数据 库 中 ， 看 到 的 是 结合 用 户 信息 的 四 张 重要 的 表格 : 用 户 信息 表 、 商 户 分 关 信 
奶 表 、 银 行 卡 信息 表 、 交 多 事实 表 。 
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图 5-69 ”刷卡 数据 


具体 而 言 ， 这 四 张 表格 分 别 通过 不 同 的 关键 字 连 接 〈 见 图 $-70) ， 上 其 体 如 下 : 
(1) 用 户 信息 表 可 以 通过 用 户 手 机 扎 介 和 区 易 事实 表 对 应 ， 一 个 用 户 手 机 所 但 对 
应 多 个 交易 事实 记录 ; (2) 商 尸 分 关 信 息 表 可 以 通过 商户 编号 和 区 易 事实 表 对 
应 ， 多 个 交易 事实 可 能 产生 于 一 个 商户 编写 ; (3) 银行 卡 信 息 表 可 以 通过 银行 卡 
的 硬 儿 位 数 子 称 为 卡 标 自 ) 和 交易 事实 表 中 的 卡号 对 应 。 这 四 张 表格 中 包含 的 
信息 可 以 说 纷 桩 复杂。 


四 张 表格 中 包含 的 具体 变量 信息 有 : 用 户 信息 表 ， 包 括 手机 号 、 注 册 时 间 
等 ， 商 户 分 类 信息 表 ， 包 括 创建 时 间 、 商 户 号 、 商 户 名 称 、 商 户 1 一 7 级 分 类 名 称 
及 代码 等 ， 银 行 卡 信息 表 〈 银 行 卡 卡片 类 型 信息 ) ， 包 括 卡 标 首 〈 银 行 卡 的 前 几 
位 数据 ， 决 定 了 属于 哪 一 家 银行 的 哪 一 种 类 型 的 卡片 ) 、 ”账户 类 型 〈 例 如 储蓄 卡 
或 者 信用 卡 、 银 行 名 称 等 ) ， 交 易 事实 表 ， 包 括 流水 号 〈 每 一 笔 交 易 会 被 制定 一 
个 流水 号 码 ) 、 交 易手 机 号 、 交 易 时 间 、 商 户 号 、 账 单 号 账单 金额 等 








图 5-70 ”四 张 重要 表格 的 连接 


Y RN 


根据 业务 目标 ， 需 要 对 每 个 申请 人 的 茂 信 打 分 。 因 此 ， 分 析 的 样本 应 该 是 在 
个 人 的 个 体 层 面 ， 而 不 是 交易 。 作 为 小 括 贷 于 业务 ， 关 注 的 核心 当然 是 用 户 违约 
和 和 非 违 约 的 状态 。 因 此 ， 可 以 设 定 了 三 0 表示 用 户 违 约 ， 而 Y 三 1 表示 不 违约 。 由 此 
可 见 ， 本 质 上 这 是 一 个 0-1 回 归 的 问题 。 


X 是 什么 ? 


这 是 比较 让 人 抓 耳 挠 腮 的 地 方 。 因 为 原始 的 刷卡 数据 是 记录 在 交易 层面 的 ， 
而 不 是 个 人 层面 的 。 这 意味 着 ， 同 一 个 人 会 有 很 多 交易 ， 因 此 会 有 很 多 刷卡 信 
息 。 这 么 多 信息 ， 应 该 如 何 汇总 到 个 人 的 层面 呢 ? 


用 户 基 础 信息 变量 


通过 跟 业 务 人 员 的 沟通 与 交 汶 ， 可 以 获得 如 下 基础 信息 变量 : (1) 现 有 的 企 
业 征 信 得 分 。 这 是 在 能 大 团队 没有 上 手 前 ， 合 作 伙伴 目 己 研发 的 得 分 ， 具 有 一 定 
区 分 度 。 (2) 用 户 性 别 。 (3) 用 户 年 龄 。 (4) 用 户 的 注册 时 长 。 (5) 交易 笔 
数 。 (6) 所 有 交易 行为 均值 。 (7)〉 用 户 所 有 交易 行为 最 大 值 。〈(8) 借贷 比率 : 
用 户 所 有 行为 中 ， 采 用 贷 记 卡 《〈 或 称 信 用 卡 ) 交易 的 次 数 占 所 有 采用 贷 记 卡 或 者 
音 记 卡 〈 或 称 储 著 卡 ) 交易 次 数 的 比率 。 (9) 银行 卡 数 。 


RFMS 模 型 





接 下 来 该 看 让 人 头疼 的 各 种 刷卡 记录 了 。 每 个 人 有 成 干 上 万 的 记录 ， 到 撒 访 
怎么 办 呢 ? 为 此 ， 需 要 一 个 系统 的 方法 论 : RFMS 模 型 〈 见 图 5$-71) 。 它 是 传统 彰 
销 领域 的 RF M 模 型 的 拓展 。 





图 $-71 


假设 数据 提取 时 间 t 二 50。 在 此 期 间 内 ， 用 户 A 消 费 3 次 ， 那 么 F 二 3; 平均 金额 
为 100， 即 M 二 100; 最 近 一 次 消费 距 数 据 提 取 l1 5 天 ， 即 R 二 1 5; 而 能 够 看 到 对 于 B 
用 户 来 说 ， 每 次 消费 的 金额 都 是 一 样 的 ， 所 以 $=0〈 见 图 $-72) 。 


问 理 ， 如 朱 能 够 将 用 户 行为 分 成 不 同 的 闫 别 ， 那 么 殉 能 够 得 出 对 于 每 一 个 用 
户 每 一 突 行 为 的 四 个 指标 〈 匈 表 5-4) 。 





指标 简称 指标 定义 


R -年 内 用 户 最 后 一 次 产生 某 类 行为 距离 提取 数据 的 时 间 
F 用 户 在 一 年 内 产生 某 类 行为 的 频数 
M 用 户 在 一 年 内 产生 某 类 行为 的 平均 金额 
S 一 年 内 该 类 行为 产生 金额 的 标准 差 
用 户 行 为 类 别 


全 于 如 何 划 分 用 户 行 为 尖 别 ， 殉 见仁见智 了 。 此 处 ， 通 过 商户 信息 将 用 户 行 
为 分 成 如 下 闫 别 : (1) 信 记 类 : 刻 男 用 户 使 用 储 畜 卡 的 交易 行为 。〈2) 消费 
关 : 刻 男 用 户 的 日 名 消费 行为 。 “3) 信贷 闫 : 刻画 用 户 之 前 的 小 额 贷 葡 关 行 为 。 
(4) 转账 类 : 刻画 用 户 的 转账 行为 。 (5) 话费 类 : 刻画 用 户 的 话费 充值 交易 行 
为 。 (6) 公 缴 类 : 刻 男 用 户 交 水 、 电 、 熔 气 锅 等 区 易 行 为 。〈7) 游戏 突 : 刻画 
用 尸 购 尖 游戏 后 卡 的 行为 。 (8) 四 大 行 卡 闫 : 包括 中 国 银行 、 中 国 农业 银行 、 中 
国 工 商 银行 、 中 国 建设 银行 。 (9) 中 型 银行 卡 类 : 包括 招商 银行 、 浦 发 银行 、 兴 
业 银行 、 平 安 银 行 等 。 第 〈8) 、 《9) 两 个 指标 的 设 定 有 两 方面 原因 : 一 是 不 同 
公司 的 工资 卡 不 同 ， 小 型 创业 公司 一 般 采 用 中 型 银行 的 银行 卡 ; 二 是 ”四 大 行 的 信 
用 卡 友 放 较为 保守 ， 所 以 能 够 申请 到 四 大 行 信用 卡 的 人 可 能 和 及 用 其 他 银行 信用 
卡 的 用 户 群 体 不 同 。《〈10) 日 金 及 金 卡 类 : 通过 卡 标 首 可 以 对 应 到 银行 卡 是 属于 
哪 家 银行 的 哪 种 类 型 的 卡 ， 例 如 招商 银行 的 爹 线 化 卡 。 全 此 ， 束 能 够 获得 一 共 10 
类 ， 每 类 4 个 指标 ， 共 计 40 个 指标 。 一 些 主要 的 变量 信息 示例 如 表 5-5 所 示 。 





变量 名 详细 说 明 取 值 说 明 备注 
0 
佑 看 FE a 1 与 殿 信 种 Ep i 4 
信人 科比 诗 贷 记 与 信贷 和 之 比 0 一 1 之 间 取 值 最 天 从 为 0 82 
用 尸 了 所 有 行为 均值 用 尸 所 有 交 多 均值 单位 : 死 ”中 位 数 为 23 万 元 
用 户 所 有 行为 最 大 伍 。 用 户 所 有 交易 最 大 值 单位 , 元 最 大 值 为 120 万 元 
交易 笔 用 户 交易 次 数 整数 中 位 数 为 57 
银行 卡 效 用 户 拥 有 的 银行 卡 交 月 整数 中 位 数 为 6 
从 记 卡 F 一 年 内 从 记 卡 交 匈 频数 / 中 位 数 为 26 
| 一 年 内 最 后 一 次 信 委 行为 稚 | re 
信 佐 民 站 最 后 一 次 信贷 行为 堆 止 单位 ， 天 中 位 数 为 155 天 


效 据 获取 日 的 时 间 
四 大 行 M 一 年 内 四 大 行 奖 易 平 均 金额 。” 单位， 元 。 中 位 数 约 为 20 万 元 


接 下 来 看 一 些 有 代表 性 的 插 述 性 分 析 结 果 〈 见 图 5-73) 。 

















0 1 
是 否 违 约 


图 5-73 ”有 代表 性 的 搬 述 分 析 结 


从 中 能 够 得 出 一 些 绪论: (1) 交易 笔 数 与 是 否 违约 : 非 违 约 用 户 与 违约 用 户 
相 比 ， 交 易 笔 数 更 高 。 (2) 用 户 所 有 行为 均值 与 是 奋 违 约 : 非 违约 用 户 与 违约 用 
户 相 比 ， 所 有 行为 金额 的 均值 较 高 。 (3) 借 记 卡 F 与 是 否 违约 非 违约 用 户 的 借 
记 卡 F 平 均 融 于 违约 用 户 ， 表 明 非 违约 用 户 借 记 卡 的 使 用 频数 更 珊 。(4) 信贷 R 与 
是 否 违 约 : 非 违约 用 户 通 过 APP 产 生 倍 贷 行 为 距离 现在 的 日 期 ， 相 对 于 违约 用 户 而 
言 较 近 。 (5) 四 大 行 M 与 是 否 违约 : 非 违 约 用 户 的 四 大 行 卡 的 行为 平均 值 较 高 ， 
这 说 明 非 违约 用 户 更 多 使 用 四 大 行 的 银行 卡 。 

在 捅 述 性 分 析 之 后 ， 将 所 有 变量 引入 模型 束 可 以 做 一 个 徇 单 的 逻辑 回归 ， 而 
通过 B I C 准 则 选 变 量 则 可 以 选 出 重要 的 变量 。 此 处 通过 一 个 人 简单 的 回归 结果 表格 
( 见 表 5-6) ， 来 看 一 下 BIC 选 出 的 重要 变量 有 哪些 。 


表 5-6 数 据 的 具体 搞 述 


变量 名 估计 值 p 值 ”变量 名 估计 值 p 值 


能 小 贷 得 分 1.208 wx# 公 缴 下 一 0.339 Xi 

从 入 比 腔 0.568 xxx 转账 民 0,310 美英 革 

用 户 所 有 行为 均 值 0, 543 3 年 龄 0, 307 名 关头 

到 记 卡 F 0. 465 ”x##¥# 四 天 行 F 一 0. 229 甘美 

交易 笔 数 0.336 xx% 中 型 F 一 0. 190 # 

四 太行 M 0.316 x## ”中 型 RR 一 0. 185 x 

全 记 卡 Ml 0, 205 sx 公 二 下 0., 170 其 闫 沈 

转账 M 0.095 “x#¥# 四 大 行人 一 0 164 并 次 关 

中 型 M 0.087 xxx* 谢 费 FE 一 0, 145 器 甘 六 

信贷 RR 一 0.539 6% 人 公 缴 M 一 0.089 站 
银行 卡 数 一 0.462 ax# 金 卡 F 一 0.068 * 
信贷 下 0.408 xxx ”信贷 S 一 0.068 % 

用 户 所 有 行为 最 大 值 一 0.375 xx# 游戏 M 一 0.061 # 

转账 下 一 3 





通过 进一步 观 峙 可 以 二 观 得 出 的 结论 包括 但 不 限于 : 


(1) 在 其 他 变量 控制 不 变 的 情况 下 ， 人 和 借贷 比例 越 高 的 用 户 违 约 可 能 性 越 低 ， 
这 与 银行 的 信用 卡 额 度 担 升 相 似 ， 经 钊 使 用 信用 卡 并 鬼 时 还 短 的 各 ” 己 更 有 可 能 被 
银行 认为 信用 民 好 ， 从 而 银行 希 强 该 用 户 提 高 信用 竹 度 ， 而 如 果 不 经 负 使 用 信用 
卡 则 无 法 判断 。 因 此 ， 信 贷 比 例 越 蜗 ， 表 明 用 户 越 习惯 使 用 信用 卡 ， 进 一 步 越 有 
可 能 是 信用 民 好 的 用 尸 。 态 一 方面 ， 用 户 申请 银行 的 信用 卡 怖 要 通过 银行 的 信用 
评 仿 ， 故 有 信用 卡 的 用 户 与 没有 信用 卡 的 用 户 有 所 人 不同。 


(2) 在 其 他 变量 你 持 个 变 的 情况 下 ， 用 户 每 一 次 交易 行为 的 平均 值 越 大 ， 越 
可 能 是 非 违 约 用 户 。 


(3) 有 其 他 变量 水 平 不 变 ， 银 行 卡 数 越 多 ， 越 有 可 能 是 违约 用 户 。 


征 
(4) 体 持 其 他 变量 不 变 ， 用 户 行 为 最 大 值 越 大 ， 越 可 能 是 违约 用 户 。 这 也 验 
证 了 之 前 的 绪论， 用户 的 极 痕 行 为 越 极 病 ， 越 有 可 能 是 违约 用 户 。 


值得 注意 的 是 ， 以 上 结论 只 是 针对 使 用 这 一 家 小 额 贷 亚 公司 的 这 一 到 产品 的 
用 户 ， 并 不 具有 在 其 他 产品 上 推 / 的 意义 。 通 过 这 一 模型 的 建立 ， 在 后 续 的 预测 
中 ， 能 够 将 模型 预测 的 准确 大 相对 近 蜗 16.6 个 白 分 所 。 


况 辟 扣 旧 ;进入 狗熊 会 公众 写 〈CluBear) 输入 文子 :“ 互 联网 征 信 ”， 看 小 
上 


Table of Contents 


狗 能 会 简介 
绪论 / Introduction 大 数据 时 代 之 “明定 的 新 装 ” 
第 一 首 / Chapter One 数据 价值 观 








箱 线 图 
叶 图 
第 三 草 / Chaper Three 辐 归 分 本 








村 又 贝 叶 斯 12345, 有 事 找 政府 











决策 可 庆 
Y 入 信 一 一 2 

雇 宋 术 比率 那些 

日 | 对 与 过 于 大 A ES 有 + 


We YY 
VAN | 、 \|7 
wii 








